爬蟲在很多地方其實是有相似的，他們大部分都是三板斧，獲取網站，解析網站，存儲數據。既然他們的結構有相似性，那麼其中就會有一些是機械性的勞動。我就在想，
我已經熬夜熬得這麼禿了要是能少寫幾行代碼早點睡不美滋滋嗎。於是就去github上逛逛，咱轉着轉着還真就發現個可以節省一點任務量的東西。就想着分享給大家
介紹一個在Github上發現的對寫python爬蟲非常友好的工具
這個項目在Git-hub3066star，可以說還是非常不錯的一個項目大家可以先看一下項目的主頁然後我們開始介紹它爲什麼好用。上面的是這個項目的網頁連接下面的是github主頁連接
https://curl.trillworks.com/
https://github.com/NickCarneiro/curlconverter/
這是這個項目的主頁
上面是它項目的主頁 我們可以下載，也可以線上通過訪問他（csells ）做的網站直接使用它的功能下面開始介紹
首先放鏈接：
進入這樣一個界面，它支持多種轉化，我們這裏介紹它轉化成python request。他可以讓我們以後少寫一個header。
步驟說明
拿CSDN的一篇博客舉例子，https://blog.csdn.net/weixin_45950372/article/details/104643491現在我們要爬取這個網頁的信息，進入這個網頁右鍵選擇查看元素（查看）
然後選擇Network刷新網頁，然後右鍵第一個文件，Copy，選擇Copy as cURL（cmd）。然後點進我推薦的哪個網站
就是這個網站，並粘貼到左邊的方框中
它自動生成了 一個headers，我們不用手寫headers了！！！摸着自己日漸稀疏的頭髮，我真有種相見恨晚的感覺…
不說了再說就真禿了