Python系列爬蟲之Scrapy實戰 | 抓取並分析天氣數據

前言

利用Python“簡單地”抓取並分析一下天氣數據。補充一下之前數據可視化的空白。

開發工具**

Python版本：3.6.4

相關模塊：

PIL模塊；

requests模塊；

pyecharts模塊；

以及一些Python自帶的模塊。

環境搭建

同Python簡單分析微信好友。

主要思路

利用國家氣象局和百度天氣查詢API接口來獲取當前天氣數據，主要包括溫度、溼度、氣壓等。

獲取相關數據之後利用pyecharts模塊和PIL模塊對數據進行可視化分析。

具體實現過程詳見個人簡介或私信獲取源代碼。

結果展示

使用：

在cmd窗口中運行analysis.py文件即可。

要畫什麼圖把對應的函數調用註釋去掉就好啦：

 

圖片

結果：

（打開相關文件中的html文件查看效果更佳，到處點一點有驚喜~~~）

（1）全國部分城市空氣質量

 

圖片

（2）天氣預報簡圖

 

圖片

（3）部分城市氣溫柱狀圖

 

圖片

（4）部分城市氣溫折線圖

 

圖片

（5）部分城市相對氣壓餅圖

 

圖片

（6）部分城市氣溫分佈圖

 

圖片

（7）北京城市溼度

 

圖片

（8）南京天氣信息雷達圖

 

圖片

有些是爲了畫圖而畫圖了，所以看起來邏輯很怪

補充：中國地震網數據可視化

來可視化一波我們爬取到的數據吧！

首先，根據經緯度畫下地震發生頻次的熱力圖吧，爲了方便統計，我們對經緯度進行了保留一位小數處理，然後再進行頻次統計，因此熱力圖會存在誤差。

**注：數據源於http://news.ceic.ac.cn/index.html，僅供參考。**

總體上效果是這樣子的：

 

圖片

和Google搜到的世界地震帶分佈對比一下：

 

圖片

還行吧，就是爲啥中國那片這麼“出衆”。不過想想也對，國內自己的地震數據肯定統計的更詳細，級別非常低的地震也統計進去了，而國外的地震統計的就比較粗糙一點，所以漏了很多，這麼一來一回，也就成這副鬼樣子了。因此還不如仔細瞅瞅國內的呢。所以放大定位到中國瞅瞅咯，效果如下：

 

圖片

好吧，中國國土面積太大了，不太好展示，感興趣的小夥伴自己下載相關文件看吧。T_T

然後再統計一下每年發生地震的頻次？效果如下：

 

圖片

以及地震級別統計？效果如下：

 

圖片

最後再對所有發生過地震的地點畫個詞雲吧：

 

圖片

看完篇文章喜歡的朋友點個贊支持一下，關注我每天分享Python數據爬蟲案例，下篇文章分享是Python爬取房價信息並分析

All done~完整源代碼詳見個人簡介或者私信獲取相關文件。