原创 selenium 入門編程

網頁操作 打開一個網頁 driver.get("http://www.baidu.com") 定位頁面元素 <input type="text" name="pwd" id="pwd_id" /> element = driv

原创 獲取網站的ssl證書信息

獲取網站的ssl證書信息 import ssl import socket import pprint hostname = 'www.baidu.com' c = ssl.create_default_context() s

原创 selenium 效率優化

selenium 瀏覽器配置 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 11/22/2019 8:45 AM # @Author : DeltaT #

原创 Python爬蟲, 抓取百度圖片

#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 11/23/2019 4:06 PM # @Author : DeltaT # @File : 百度圖

原创 selenium 元素定位

html 頁面源碼 <html> <body> <form id="loginForm"> <input name="username" type="text" /> <input name="password"

原创 爬蟲遇到亂碼怎麼辦? 解決亂碼問題

情景 在爬取非英文網站的頁面時, 如果發現獲取後的網頁字符串無法正常顯示, 出現亂碼. 通常都是因爲解碼所使用的編碼不是網頁原來所使用的編碼. 需要查詢網頁本身的編碼. 查詢網頁編碼 方法一: 1. 打開瀏覽器開發者工具, 切換到

原创 CSV EXCEL 文件操作

csv 寫入csv文件 import csv # 元祖列表 data = [ ('ken', '13', '01'), ('tom', '14', '02') ] items = [ {

原创 sqlalchemy 多表聯查 獲取其他表的字段值

使用sqlalchemy進行聯合查詢時,使用add_entity()方法將第二個表添加進來,查詢的結果是一個由多個表的記錄組成的元組列表。例如: 將OrderDetail表和Goods表連接,計算OrderDetail表的paym

原创 面向對象: 多態(動態綁定)

寫程序的道理就和做其他任何事是一樣的, 比如炒個菜, 或者用洛陽鏟來考古探方. 下面用其中任何一種事情來進行多態性的實現方法吧:         炒菜(實現多態):         1. 原料: 父類一個, 子類一個或多個        

原创 selenium 頁面等待

需要等待的原因 如果網頁使用了Ajax異步請求, 當瀏覽器加載頁面時, 各種元素的加載時間不同, 定位元素可能會因爲響應時間問題出現定位不到的異常: ElementNotVisibleException . 使用 waits ,

原创 selenium 編程入門

一個簡單的例子 from selenium import webdriver from selenium.webdriver.common.keys import Keys import time driver = webdri

原创 問財網 股票信息爬蟲案例

股票爬蟲案例 from selenium import webdriver from my_fake_useragent import UserAgent from lxml import etree import json "

原创 selenium API 文檔

selenium 官方文檔 selenium api documentation

原创 金融界網站 股票數據爬蟲案例

#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 11/22/2019 4:05 PM # @Author : DeltaT # @File : 股票爬

原创 sqlalchemy操作數據庫

from sqlalchemy import create_engine, Column, String, Integer from sqlalchemy.ext.declarative import declarative_ba