在初學python爬蟲時,第一個自己的爬蟲最難寫。你時不時會因爲這樣那樣的原因爬取失敗。這個案例是我寫成功的第一個小爬蟲,特別開心。
剛開始寫的時候,一切都很順利。跑一跑,結果卻報錯,大概是連接不上,連接超時。
所以我就上網找了許多代理ip池案例,都不是我能懂的。最後終於找到一個易懂的案例,改改,就連上我的爬取代碼。沒想到,還成功了。
需要用到代理ip池的地方主要是爬取每一章的內容,章節較多,頻繁訪問就會出錯。
上圖是代理ip池的輸出,下面那點就是爬取內容提示
在初學python爬蟲時,第一個自己的爬蟲最難寫。你時不時會因爲這樣那樣的原因爬取失敗。這個案例是我寫成功的第一個小爬蟲,特別開心。
剛開始寫的時候,一切都很順利。跑一跑,結果卻報錯,大概是連接不上,連接超時。
所以我就上網找了許多代理ip池案例,都不是我能懂的。最後終於找到一個易懂的案例,改改,就連上我的爬取代碼。沒想到,還成功了。
需要用到代理ip池的地方主要是爬取每一章的內容,章節較多,頻繁訪問就會出錯。
上圖是代理ip池的輸出,下面那點就是爬取內容提示
ChromeDriver Version Chrome Version 2.35 62-64 2.36 63-65 2.37 64-66 2.38 65-67 2.39 66-68 2.40 66