原创 selenium 入門編程
網頁操作 打開一個網頁 driver.get("http://www.baidu.com") 定位頁面元素 <input type="text" name="pwd" id="pwd_id" /> element = driv
原创 獲取網站的ssl證書信息
獲取網站的ssl證書信息 import ssl import socket import pprint hostname = 'www.baidu.com' c = ssl.create_default_context() s
原创 selenium 效率優化
selenium 瀏覽器配置 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 11/22/2019 8:45 AM # @Author : DeltaT #
原创 Python爬蟲, 抓取百度圖片
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 11/23/2019 4:06 PM # @Author : DeltaT # @File : 百度圖
原创 selenium 元素定位
html 頁面源碼 <html> <body> <form id="loginForm"> <input name="username" type="text" /> <input name="password"
原创 爬蟲遇到亂碼怎麼辦? 解決亂碼問題
情景 在爬取非英文網站的頁面時, 如果發現獲取後的網頁字符串無法正常顯示, 出現亂碼. 通常都是因爲解碼所使用的編碼不是網頁原來所使用的編碼. 需要查詢網頁本身的編碼. 查詢網頁編碼 方法一: 1. 打開瀏覽器開發者工具, 切換到
原创 CSV EXCEL 文件操作
csv 寫入csv文件 import csv # 元祖列表 data = [ ('ken', '13', '01'), ('tom', '14', '02') ] items = [ {
原创 sqlalchemy 多表聯查 獲取其他表的字段值
使用sqlalchemy進行聯合查詢時,使用add_entity()方法將第二個表添加進來,查詢的結果是一個由多個表的記錄組成的元組列表。例如: 將OrderDetail表和Goods表連接,計算OrderDetail表的paym
原创 面向對象: 多態(動態綁定)
寫程序的道理就和做其他任何事是一樣的, 比如炒個菜, 或者用洛陽鏟來考古探方. 下面用其中任何一種事情來進行多態性的實現方法吧: 炒菜(實現多態): 1. 原料: 父類一個, 子類一個或多個
原创 selenium 頁面等待
需要等待的原因 如果網頁使用了Ajax異步請求, 當瀏覽器加載頁面時, 各種元素的加載時間不同, 定位元素可能會因爲響應時間問題出現定位不到的異常: ElementNotVisibleException . 使用 waits ,
原创 selenium 編程入門
一個簡單的例子 from selenium import webdriver from selenium.webdriver.common.keys import Keys import time driver = webdri
原创 問財網 股票信息爬蟲案例
股票爬蟲案例 from selenium import webdriver from my_fake_useragent import UserAgent from lxml import etree import json "
原创 selenium API 文檔
selenium 官方文檔 selenium api documentation
原创 金融界網站 股票數據爬蟲案例
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 11/22/2019 4:05 PM # @Author : DeltaT # @File : 股票爬
原创 sqlalchemy操作數據庫
from sqlalchemy import create_engine, Column, String, Integer from sqlalchemy.ext.declarative import declarative_ba