python3爬蟲攻略(3):利用Fidder抓包!

上一篇我們使用了POST,其中涉及到表單數據的提交,那麼表單數據的格式從哪裏來呢?

當然是使用Fiddle抓包咯!

Fiddler安裝包和switchyomega插件(如果失效的話只能自己去找咯!)

鏈接:http://pan.baidu.com/s/1eSCNWky 密碼:dtc4

Fiddler用來抓取瀏覽器的http請求,而switchyomega則用來管理代理設置。

首先安裝Fiddler,這裏不做多的介紹。

然後講一講Fiddler設置

啓動Fiddler,打開菜單欄中的 Tools > Telerik Fiddler Options,打開“Fiddler Options”對話框。

打開工具欄->Tools->Fiddler Options->HTTPS,

選中Capture HTTPS CONNECTs (捕捉HTTPS連接),

選中Decrypt HTTPS traffic(解密HTTPS通信)

另外我們要用Fiddler獲取本機所有進程的HTTPS請求,所以中間的下拉菜單中選中...from all processes (從所有進程)

選中下方Ignore server certificate errors(忽略服務器證書錯誤)



爲 Fiddler 配置Windows信任這個根證書解決安全警告:Trust Root Certificate(受信任的根證書)



Fiddler 主菜單 Tools -> Fiddler Options…-> Connections

選中Allow remote computers to connect(允許遠程連接)

Act as system proxy on startup(作爲系統啓動代理)


重啓Fiddler,即可生效!


安裝SwitchyOmega ,讓fiddler能夠捕捉chrome的會話


設置代理服務器爲127.0.0.1:8888



當我們在百度翻譯中使用翻譯時:



fiddler捕獲的數據如下


(注意那個表單是不是和我們前一次代碼裏寫的一模一樣!)

發送表單的請求地址


然後我們就可以利用這個表單和請求地址給百度翻譯發送更多的請求,甚至可以實現一個自己的簡單的翻譯小程序!

未完待續…………………………

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章