原创 爬蟲入門學習總結(3)——微博爬蟲和寫入CSV

目標:爬取微博內容並寫入CSV 進度:基本達成目標,但效果有限,所以這版本定爲第一版,後面繼續完善 存在的疑問: 是沒有用代理池,然後爬一個人很順利的,然後到後面的人都爬取不了 json轉CSV只能通過字典,但字典 微博多個標籤重複不知道

原创 爬蟲入門學習總結(2)——CSV批量上傳到織夢CMS

目標:把CSV寫入到織夢CMS文章,達到批量上傳的效果 進度:基本達成目標,但還是有些小問題沒有解決 存在的疑問: 分隔符的處理爲什麼有點亂 函數還是用得不熟 還沒解決的技術性問題: 文字的轉碼問題 能不能直接寫入數據庫裏 分隔符的處理

原创 爬蟲入門學習總結(1)——使用正側表達式並寫入CSV

目標:抓取目標網站用正側表達式並寫入CSV裏。 進度:基本達成目標,但還是有些小問題沒有解決 存在的疑問: ide中調用執行文件不能顯示完整 有些網站不能讀取完 爲什麼會有換位符號,是因爲js解析嗎 還沒解決的技術性問題: yield的具