Python Async異步爬取餓了麼商家信息和對應的評論

1.背景:

最近在學協程異步python異步,想藉此機會練習一下,而且網上用協程爬蟲的文章好像不也不多,所以藉此機會實驗一番。

2.站點分析:

爬取的是eleme的h5頁面,難度比較小,電腦端的需要登陸,而且是手機號碼接收驗證碼的登陸,不想要用cookie登陸,所以找個辦法,藉助h5頁面去爬取。

3.需求:

需求如下圖,字段很多,原諒我爬蟲就喜歡爬盡所有字段,其實做爬蟲分析目標的字段也是蠻有趣的,也挺累的。。。
在這裏插入圖片描述
爬取評論是因爲想學習分詞
在這裏插入圖片描述

4.github:

源碼:Async_eleme,做的不好,僅供參考,如果對您有幫助,star一下,謝謝啦~

5.下次再寫一個異步爬蟲

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章