學弟他作爲一個宅男,閒着沒事就喜歡用我教他的Python來爬一些 “資源” 套圖欣賞,我每次都罵他你總是這樣找個女朋友不好點,他不以爲然,依舊如故。氣的我只好把他寫的東西發出來讓更多的人來譴責他!
我們先看一下他的效果圖:
在這裏還是要推薦下我自己建的Python開發學習羣:304050799,羣裏都是學Python開發的,如果你正在學習Python ,小編歡迎你加入,大家都是軟件開發黨,不定期分享乾貨(只有Python軟件開發相關的),包括我自己整理的一份2018最新的Python進階資料和高級開發教程,歡迎進階中和進想深入Python的小夥伴
第一步:選取爬取的分類
第二步:開始爬取(默認保存C:sex, )
好了我們來看看代碼
一、導包
二、定義全局變量
網址我和諧了,怕帶壞你們。As we know,這些網站的域名一直變但是網站結構一般不會變化,所以日後變化就改動一下url變量就行。
三、總共八個核心處理函數
1、僞裝報頭訪問函數
2、菜單,捕獲輸入函數
3、爬蟲調度器函數
4、加載頁面函數
5、加載圖片
6、生成文件夾
默認c:/sex/
8、main
四、程序運行效果
全部是7個分類,使用多進程,保存了多少個分類就自動開多少個進程。輸入目錄對應編號就可以了,輸入0時則結束輸入,開始爬取
(每次運行前,如果舊的c:/sex/沒刪除,則應先手動刪除)寫的有點倉促,以後有時間會完善這個程序。
來來來,完整代碼:
大家可以關注微信公衆號:程序員大牛,系統會自動發送Python學習資料和學習視頻哈~