python爬蟲,爬取小說案例,僅供參考

        在初學python爬蟲時,第一個自己的爬蟲最難寫。你時不時會因爲這樣那樣的原因爬取失敗。這個案例是我寫成功的第一個小爬蟲,特別開心。

       剛開始寫的時候,一切都很順利。跑一跑,結果卻報錯,大概是連接不上,連接超時。

       所以我就上網找了許多代理ip池案例,都不是我能懂的。最後終於找到一個易懂的案例,改改,就連上我的爬取代碼。沒想到,還成功了。

        需要用到代理ip池的地方主要是爬取每一章的內容,章節較多,頻繁訪問就會出錯。

上圖是代理ip池的輸出,下面那點就是爬取內容提示

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章