1.背景:
最近在學協程異步python異步,想藉此機會練習一下,而且網上用協程爬蟲的文章好像不也不多,所以藉此機會實驗一番。
2.站點分析:
爬取的是eleme的h5頁面,難度比較小,電腦端的需要登陸,而且是手機號碼接收驗證碼的登陸,不想要用cookie登陸,所以找個辦法,藉助h5頁面去爬取。
3.需求:
需求如下圖,字段很多,原諒我爬蟲就喜歡爬盡所有字段,其實做爬蟲分析目標的字段也是蠻有趣的,也挺累的。。。
爬取評論是因爲想學習分詞
4.github:
源碼:Async_eleme,做的不好,僅供參考,如果對您有幫助,star一下,謝謝啦~