部署環境:
python3 -3.4.6
vmware虛擬機部署Cent6.5
需要安裝模塊:requests、time、random、socket、http、pymysql、bs4、csv (指令是pip3 install pickage*)
導入模塊:
定義採集數據函數:
分析數據進行添加:
將數據採進行寫入模塊:
將數據採集後存儲在path裏面。
路徑下面有文檔:
採集下的數據存儲在weather表內。不過有亂碼,有網友看到哪裏能解決亂碼請留言告訴我。
notepad++可以自動轉碼
數據存儲在數據庫內
創建數據庫模塊:
從數據庫內插入數據:
模塊編碼:
注:在主函數中調用數據插入模塊,在傳送result值過去,因爲保存下來*.csv文件內數據是亂碼。所以插入時也是按按照數據編碼格式插入。
在程序最後初始化方法,調用模塊函數。
數據插入的結果在Navicat中顯示,但是亂碼還是想想辦法解決。
總結:整個程序是看懂別人寫的Python原理基礎上再加以修改,所以看懂程序設計思路很重要,不然複製過去也是編譯錯誤。總體花了兩天時間去解決Bug問題,每個模塊的設計思路一定要清楚。這裏注意幾點:1、複製別人代碼或者自己填寫一定要看懂空格或是tab鍵,python編碼對製表符號要求很高。如果不同,會一直報錯。2、各個模塊最好分開寫,單獨用個.py文件進行封裝,在去主函數中調用。封裝前,也可以測試一下模塊是否執行成功。有時候因爲一個模塊錯,看整個程序很費勁,如果模塊封裝有問題,就可以排查後再加入主函數。3、測試成功的模塊記得備份在改動,大多數時候改動時,改太多就不知道改到哪裏了。
最後是編譯千萬次,成功就一次,謹慎小心性,注意製表符。
借鑑:
源代碼出處:https://www.cnblogs.com/zhaww/p/9517514.html
request模塊詳解:https://www.cnblogs.com/ranxf/p/7808537.html