Python3 小試牛刀 爬取未來城市天氣預報

部署環境:

python3 -3.4.6

vmware虛擬機部署Cent6.5

需要安裝模塊:requests、time、random、socket、http、pymysql、bs4、csv (指令是pip3 install pickage*)

導入模塊:

定義採集數據函數:

分析數據進行添加:

將數據採進行寫入模塊:

將數據採集後存儲在path裏面。

路徑下面有文檔:

採集下的數據存儲在weather表內。不過有亂碼,有網友看到哪裏能解決亂碼請留言告訴我。

notepad++可以自動轉碼

數據存儲在數據庫內

創建數據庫模塊:

從數據庫內插入數據:

模塊編碼:

注:在主函數中調用數據插入模塊,在傳送result值過去,因爲保存下來*.csv文件內數據是亂碼。所以插入時也是按按照數據編碼格式插入。

在程序最後初始化方法,調用模塊函數。

數據插入的結果在Navicat中顯示,但是亂碼還是想想辦法解決。

總結:整個程序是看懂別人寫的Python原理基礎上再加以修改,所以看懂程序設計思路很重要,不然複製過去也是編譯錯誤。總體花了兩天時間去解決Bug問題,每個模塊的設計思路一定要清楚。這裏注意幾點:1、複製別人代碼或者自己填寫一定要看懂空格或是tab鍵,python編碼對製表符號要求很高。如果不同,會一直報錯。2、各個模塊最好分開寫,單獨用個.py文件進行封裝,在去主函數中調用。封裝前,也可以測試一下模塊是否執行成功。有時候因爲一個模塊錯,看整個程序很費勁,如果模塊封裝有問題,就可以排查後再加入主函數。3、測試成功的模塊記得備份在改動,大多數時候改動時,改太多就不知道改到哪裏了。

最後是編譯千萬次,成功就一次,謹慎小心性,注意製表符。

借鑑:

源代碼出處:https://www.cnblogs.com/zhaww/p/9517514.html 

request模塊詳解:https://www.cnblogs.com/ranxf/p/7808537.html

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章