前言
一般開發爬蟲的時候,最心煩的不是它的反爬有多複雜,而是它的參數賊多,要一個個的複製進去。
所以自己寫了一個小工具,把抓包抓到的 header、data、cookie 這些參數轉換成 python 代碼。
大大的提高開發效率,其實代碼之前已經開源了,不過用起來不太方便,於是最近就把它弄到了線上,用起來方便多了。
涉及到的工具或技術
- Python 3.7
- Fiddler v5.0
- Charles v4.2.8
小工具
在線轉換的工具網站: https://alisen39.com/
將 webForms 的數據轉成 dict 格式
工具地址: https://alisen39.com/FiddlerData
在 Fiddler 裏面,webForms 的數據是 POST 請求所帶的參數
可以直接將其複製出來然後轉換成 dict 格式,如下:
然後將轉換後的結果直接複製到你的爬蟲代碼裏面就可以使用了!
將 Header 數據轉成 dict 格式
工具地址: https://alisen39.com/FiddlerHeader
Fiddler 裏的 Header 部分,在 Raw 選項裏面:
將其複製出來,然後粘貼到左邊:
將 Cookies 的數據轉成 dict 格式
工具地址: https://alisen39.com/FiddlerCookie
Fiddler 裏抓到的 Cookies 數據:
將其複製出來,然後粘貼到左邊:
重磅工具!將 raw 的數據轉成 reqeusts代碼
最重磅的一個功能!直接將包的內容轉成python代碼,真心節省90%的時間。
摁頭推薦!!!
工具地址:https://alisen39.com/HttpRaw
複製抓到的Raw信息,從Fiddler或者Charles裏都可以。
將其複製出來,然後粘貼到左邊:
再將右邊的代碼複製到你的IDE裏面去
就這麼esay了。