Python爬蟲快跑系列(二)async 爬取餓了麼商家信息和對應的評論,並且利用snownpl進行評論情感分析

1.背景:

最近在學協程異步python異步,想借此機會練習一下,而且網上用協程爬蟲的文章好像不也不多,所以藉此機會實驗一番。

2.站點分析:

爬取的是eleme的h5頁面,難度比較小,電腦端的需要登陸,而且是手機號碼接收驗證碼的登陸,不想要用cookie登陸,所以找個辦法,藉助h5頁面去爬取。

3.需求:

需求如下圖,字段很多,原諒我爬蟲就喜歡爬盡所有字段,其實做爬蟲分析目標的字段也是蠻有趣的,也挺累的。。。
在這裏插入圖片描述
爬取評論是因爲想學習分詞
在這裏插入圖片描述

4.github:

源碼:Async_eleme,做的不好,僅供參考,如果對您有幫助,star一下,謝謝啦~

5.數據分析:

用snownpl對廣州天河地區的小龍蝦外賣進行用戶的情感分析,越是接近0,就越趨向於負情緒,也可以理解爲差評,接近1反之。分析結果如圖:
在這裏插入圖片描述
可以看到,接近0的數目明顯多於接近1的數目,可以大致推測出,該地區的小龍蝦外賣評價不是很好。
分析的源碼

6.更新:

最近寫了一個梨視頻app爬蟲,源碼:Async_pearvideo

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章