所有寫搜索的朋友估計都有過和我一樣的煩惱，那就是如果不斷的對某一個網站進行爬行，很容易被封IP。最笨的版本就是減少爬行頻率，但是在很多場景下對爬行效率是有要求的，那麼最直接的辦法就是不斷切換實際訪問的IP，來達到訪問流量分散的效果。當然也有很多朋友在用一個比較賤的辦法，就是用ADSL撥號方式爬行，一旦被封掉就重新撥號換個IP，這個也算一個非常取巧的手段了。
本文重點介紹代理IP自動切換的方式，其實這個如果只是要實現，那是再簡單不過了。一個爬蟲在啓動的時候讀取一批代理IP，訪問網頁的時候不斷輪換，這樣就是一個最簡單的實現。但是這樣有一個比較大的問題，就是你每寫一個爬蟲就要實現這樣的模塊，多個爬蟲之前還不能共享代理IP資源。
這裏我想到利用一個本地代理來實現這個效果，那麼爬蟲只要連接到這一個代理，他在幫忙訪問最終頁面的時候再使用一個代理池不斷輪換。這個方案既解決了代碼重複的問題，又解決了多個爬蟲都要維護代理IP列表的麻煩，而且部署起來也非常簡單。