提高爬蟲開發效率的幾個小工具,學會之後很esay了

 

 

 

前言

一般開發爬蟲的時候,最心煩的不是它的反爬有多複雜,而是它的參數賊多,要一個個的複製進去。

所以自己寫了一個小工具,把抓包抓到的 header、data、cookie 這些參數轉換成 python 代碼。

大大的提高開發效率,其實代碼之前已經開源了,不過用起來不太方便,於是最近就把它弄到了線上,用起來方便多了。

涉及到的工具或技術

  • Python 3.7
  • Fiddler v5.0
  • Charles v4.2.8

小工具

在線轉換的工具網站: alisen39.com/

將 webForms 的數據轉成 dict 格式

工具地址: alisen39.com/FiddlerData

在 Fiddler 裏面,webForms 的數據是 POST 請求所帶的參數

 

 

 

可以直接將其複製出來然後轉換成 dict 格式,如下:

 

 

 

然後將轉換後的結果直接複製到你的爬蟲代碼裏面就可以使用了!

將 Header 數據轉成 dict 格式

工具地址: alisen39.com/FiddlerHead…

Fiddler 裏的 Header 部分,在 Raw 選項裏面:

 

 

 

將其複製出來,然後粘貼到左邊:

 

 

 

將 Cookies 的數據轉成 dict 格式

工具地址: alisen39.com/FiddlerCook…

Fiddler 裏抓到的 Cookies 數據:

 

 

 

將其複製出來,然後粘貼到左邊:

 

 

 

重磅工具!將 raw 的數據轉成 reqeusts代碼

最重磅的一個功能!直接將包的內容轉成python代碼,真心節省90%的時間。

 

工具地址:alisen39.com/HttpRaw

複製抓到的Raw信息,從Fiddler或者Charles裏都可以。

 

 

將其複製出來,然後粘貼到左邊:

 

 

 

再將右邊的代碼複製到你的IDE裏面去

 

 

 

就這麼esay了。

重點來了

小編今天的學習資料是給剛剛要開始學習Python的小夥伴準備的,也有一些Python開發技術、Python爬蟲入門到實踐、Python爬蟲開發到項目實踐的學習資料,需要的可以私信小編"學習"來免費獲得。記得是私信我

Python學習路線及757.6MB視頻

1.Python的自述

2.Python開發環境的搭建

3.print函數的使用

4.轉義字符與原字符

5.二進制與字符編碼

6.保留字_標識符_變量及其使用

7.數據類型

8.Python中的註釋

10.input函數的使用

11.算術運算符

12.賦值運算符

13.比較運算符

14.布爾運算符

15.位運算符

16.運算符的優先級

17.程序的組織結構_對象布爾值

18.單分支_雙分支_多分支結構

19.嵌套if

20.條件表達式_pass語句

Python基礎學習路線

Python757.6MB視頻

 

 

 

 

 

 

學習Python 需要掌握的6大PPT

 

學習Python需要學習的PDF技術文檔

 

Python不管是從學習路線到視頻,到PPT,再到PDF技術文檔,小編在這裏已經全部整理完了,需要獲取的小夥伴就可以轉發此文,關注小編,私信小編“學習”就可以免費獲取啦~~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章