Python系列爬蟲之攜程旅遊景點數據爬取與可視化

image.png

前言

今天我們就用爬蟲攜程旅遊景點數據爬取與可視化並做簡單的數據可視化分析唄。讓我們愉快地開始吧~

開發工具

Python版本:3.6.4

相關模塊:

bs4模塊;

jieba模塊;

pyecharts模塊;

wordcloud模塊;

requests模塊;

以及一些Python自帶的模塊。

環境搭建

安裝Python並添加到環境變量,pip安裝需要的相關模塊即可。

數據爬取

首先,我們來明確一下我們想要爬取的數據是哪些,這裏爲了方便起見,我們只爬取北京市的旅遊景點數據,如下圖所示:

 
圖片

即我們需要爬取的數據爲北京市所有景點的名稱,位置,評分等數據。明確了我們的爬取目標,就可以開始寫代碼啦~

代碼實現起來其實也很簡單,可以發現景點信息頁的url變化規律如下:

'https://you.ctrip.com/sight/beijing1/s0-p頁碼.html#sightname'

那麼我們只需要逐一請求所有相關網頁,並藉助bs4解析並提取我們需要的數據即可。同時,爲了避免爬蟲被封,我們每請求10次網頁,就更換一個代理,代理來源則是網上爬取的免費代理。

具體而言,代碼實現如下:

'''攜程旅遊景點爬蟲'''

代碼運行效果如下:

 
圖片

All done~完整源代碼詳見個人簡介或者私信獲取相關文件。

數據可視化

老規矩,寫完爬蟲可視化一波數據,方便起見,還是用剛剛爬取的北京景點數據吧~

首先,把所有景點的位置信息做成詞雲看看?

 
圖片

看看景點的評分分佈唄:

 
圖片

再來統計一下景區評級分佈唄:

 
圖片

其中,5A級景區有:

故宮

再來看看價格分佈唄:

 
圖片

最後看看評論最多的8個景區是啥如何?

 
圖片

看完篇文章喜歡的朋友點個愛心支持一下,關注我每天分享Python數據爬蟲案例,下篇文章分享是Python爬蟲Github用戶數據

All done~完整源代碼詳見個人簡介或者私信獲取相關文件

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章