1.背景:
最近在學協程異步python異步,想借此機會練習一下,而且網上用協程爬蟲的文章好像不也不多,所以藉此機會實驗一番。
2.站點分析:
爬取的是eleme的h5頁面,難度比較小,電腦端的需要登陸,而且是手機號碼接收驗證碼的登陸,不想要用cookie登陸,所以找個辦法,藉助h5頁面去爬取。
3.需求:
需求如下圖,字段很多,原諒我爬蟲就喜歡爬盡所有字段,其實做爬蟲分析目標的字段也是蠻有趣的,也挺累的。。。
爬取評論是因爲想學習分詞
4.github:
源碼:Async_eleme,做的不好,僅供參考,如果對您有幫助,star一下,謝謝啦~
5.數據分析:
用snownpl對廣州天河地區的小龍蝦外賣進行用戶的情感分析,越是接近0,就越趨向於負情緒,也可以理解爲差評,接近1反之。分析結果如圖:
可以看到,接近0的數目明顯多於接近1的數目,可以大致推測出,該地區的小龍蝦外賣評價不是很好。
分析的源碼
6.更新:
最近寫了一個梨視頻app爬蟲,源碼:Async_pearvideo