相信很多朋友在爬蟲工作者經常會遇到“您的請求太過頻繁,請稍後再試”,這個時候心裏莫名的一慌,爬蟲代碼完全沒有問題呀,可是爲什麼爬着爬着突然爬不動了呢?那麼,很有可能,你的爬蟲被識破了,輕則友好提示警告,重則將IP關入小黑屋。
那麼,怎麼辦呢,有人說用代理IP呀,專治各種不服。不錯,用代理IP確實不失爲一個解決問題的好辦法。IP被封了就換新IP繼續爬,或者用很多IP同時多線程爬,都很給力的。
於是,爬蟲工作者用上了代理IP,重整旗鼓繼續爬,但好景不長,沒有爬多久又被提示“您的請求太過頻繁,請稍後再試”。再換IP還是被封,再換再封,封的越來越快,效率非常低下,這是爲什麼呢?
那是因爲,你用的代理IP湊巧也是別人用來訪問相同的網站的,而且用的還比較頻繁,這種情況一般出現在免費代理IP、普通代理IP或者開放代理IP,還有一些IP池比較小的共享IP池上。很多朋友總覺得IP池太大,我也用不了那多啊,不是浪費嗎?能不能給個小點的IP池,價格再降低一些呢。這樣的想法是不對的,IP池小,用的人多,那麼項目衝突的機率也就越大,所以我們在找代理IP的時候,在保證IP有效率的同時IP池越大越好的,這樣可以保證IP的新鮮度。
除了更大的共享IP池可以緩解或者避免這種情況,獨享IP池和億牛雲優質代理也是一個不錯的選擇,獨享IP池是一個人獨自享用,那麼就沒有人會和你衝突,當你控制每個IP都在目標網站設置的閾值內,就不會因爲訪問頻繁而被封IP;一手私密代理做了項目隔離,每個人做不同的項目,互不干擾,互不衝突,這樣也可以避免和別人的項目衝突,遇到這種錯誤的機率也很小。
所以,當您遇到“您的請求太過頻繁,請稍後再試”時,不要慌,要鎮定,檢查下自己的爬蟲策略,是否真的訪問太過頻繁,檢查下自己的代理IP是否真的比較乾淨,調整自己的策略,選擇更加純淨的IP,就能有效的避免這個錯誤了。
爬蟲中http協議請求太多的解決方案
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
爬蟲代理加強版和API接口調用流程說明
laical1
2019-07-28 13:00:34
如何突破網站反爬機制
laical1
2019-07-19 13:01:49
寫爬蟲程序應該注意的問題
laical1
2019-07-11 12:58:30
python爬蟲如何設置隨機UA
laical1
2019-07-10 12:57:35
python爬蟲的問題的解決方案
laical1
2019-07-09 12:59:28
java爬蟲常用設置代理IP教程
laical1
2019-07-04 12:59:16
Python爬蟲課程資料代碼
laical1
2019-06-25 13:03:08
C Sharp的爬蟲代理的代碼示例
laical1
2019-06-22 12:57:32
Selenium爬蟲代理代碼示例
laical1
2019-06-20 12:57:21
PHP爬蟲語言配置億牛雲爬蟲代理的方案
laical1
2019-06-19 12:57:06
JAVA配置億牛雲爬蟲代理i的方案
laical1
2019-06-18 12:57:10
爬蟲使用代理IP如何高效採集數據
億牛雲範範
2019-05-11 13:33:14
爬蟲使用代理IP爲什麼不能全部成功
億牛雲範範
2019-05-10 13:34:53