Python爬蟲代理

代理IP的分類

根據代理ip的匿名程度，代理IP可以分爲下面四類：

透明代理(Transparent Proxy)：透明代理雖然可以直接“隱藏”你的IP地址，但是還是可以查到你是誰。

匿名代理(Anonymous Proxy)：使用匿名代理，別人只能知道你用了代理，無法知道你是誰。

高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理讓別人根本無法發現你是在用代理，所以是最好的選擇。

在使用的使用，毫無疑問使用高匿代理效果最好

從請求使用的協議可以分爲：

• http代理
• https代理
• socket代理等
  不同分類的代理，在使用的時候需要根據抓取網站的協議來選擇。

使用注意事項

反反爬

使用代理ip是非常必要的一種反反爬的方式

但是即使使用了代理ip，對方服務器任然會有很多的方式來檢測我們是否是一個爬蟲，比如：

• 一段時間內，檢測IP訪問的頻率，訪問太多頻繁會屏蔽

• 檢查Cookie，User-Agent，Referer等header參數，若沒有則屏蔽

• 服務方購買所有代理提供商，加入到反爬蟲數據庫裏，若檢測是代理則屏蔽

所以更好的方式在使用代理ip的時候使用隨機的方式進行選擇使用，不要每次都用一個代理ip

代理ip池的更新

購買的代理ip很多時候大部分(超過60%)可能都沒辦法使用，這個時候就需要通過程序去檢測哪些可用，把不能用的刪除掉。

使用隨機代理來發送請求

"""使用隨機代理來發送請求"""

import random
import requests

proxies = [
    {'http': '121.8.98.198:80'},
    {'http': '39.108.234.144:80'},
    {'http': '125.120.201.68:808'},
    {'http': '120.24.216.39:60443'},
    {'http': '121.8.98.198:80'},
    {'http': '121.8.98.198:80'}
]


for i in range(0, 10):
    proxy = random.choice(proxies)
    print(proxy)
    try:
        response = requests.get("http://www.baidu.com", proxies=proxy, timeout=3)
        print(response.status_code)
    except Exception as ex:
        print("代理有問題: %s" % proxy)