爬蟲代理IP不夠的問題

在爬蟲工作過程中，經常會被目標網站禁止訪問，但又找不到原因，這是令人非常惱火的事情。
一般來說，目標網站的反爬蟲策略都是依靠IP來標識爬蟲的，很多時候，我們訪問網站的IP地址會被記錄，當服務器認爲這個IP是爬蟲，那麼就會限制或者禁止此IP訪問。
被限制IP最常見的一個原因是抓取頻率過快，超過了目標網站所設置的閾值，將會被服務器禁止訪問。所以，很多爬蟲工作者會選擇使用代理IP來輔助爬蟲工作的正常運行。
但有時候不得不面對這樣一個問題，代理IP不夠用，怎麼辦？有人說，不夠用就去買呀。這裏有兩個問題，一是成本問題，二是高效代理IP並不是到處都有。
通常，爬蟲工程師會採取這樣兩個手段來解決問題：
一、放慢抓取速度，減少IP或者其他資源的消耗，但是這樣會減少單位時間的抓取量，可能會影響到任務是否能按時完成。
二、優化爬蟲程序，減少一些不必要的程序，提供程序的工作效率，減少對IP或者其他資源的消耗，這就需要資深爬蟲工程師了。
如果說這兩個辦法都已經做到極致了，還是解決不了問題，那麼只有加大投入繼續購買高效的代理IP來保障爬蟲工作的高效、持續、穩定的進行。