python爬蟲學習筆記 1.6 (HTTP/HTTPS抓包工具-Fiddler)
HTTP代理神器Fiddler
Fiddler是一款強大Web調試工具,它能記錄所有客戶端和服務器的HTTP請求。 Fiddler啓動的時候,默認IE的代理設爲了127.0.0.1:8888,而其他瀏覽器是需要手動設置。
工作原理
Fiddler 是以代理web服務器的形式工作的,它使用代理地址:127.0.0.1,端口:8888
Fiddler抓取HTTPS設置
啓動Fiddler,打開菜單欄中的 Tools > Telerik Fiddler Options,打開“Fiddler Options”對話框。
對Fiddler進行設置:
打開工具欄->Tools->Fiddler Options->HTTPS,
選中Capture HTTPS CONNECTs (捕捉HTTPS連接),
選中Decrypt HTTPS traffic(解密HTTPS通信)
另外我們要用Fiddler獲取本機所有進程的HTTPS請求,所以中間的下拉菜單中選中…from all processes (從所有進程)
選中下方Ignore server certificate errors(忽略服務器證書錯誤)
爲 Fiddler 配置Windows信任這個根證書解決安全警告:Trust Root Certificate(受信任的根證書)。
Fiddler 主菜單 Tools -> Fiddler Options…-> Connections
選中Allow remote computers to connect(允許遠程連接)
Act as system proxy on startup(作爲系統啓動代理)
重啓Fiddler,使配置生效(這一步很重要,必須做)。
Fiddler 如何捕獲Chrome的會話
安裝SwitchyOmega 代理管理 Chrome 瀏覽器插件
如圖所示,設置代理服務器爲127.0.0.1:8888
通過瀏覽器插件切換爲設置好的代理。
Fiddler界面
設置好後,本機HTTP通信都會經過127.0.0.1:8888代理,也就會被Fiddler攔截到。