Python爬蟲技術：爬蟲時如何知道是否代理ip僞裝成功？

 

前言
本文的文字及圖片來源於網絡,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。

python爬蟲時如何知道是否代理ip僞裝成功：

有時候我們的爬蟲程序添加了代理，但是我們不知道程序是否獲取到了ip，尤其是動態轉發模式的，這時候就需要進行檢測了，以下是一種代理是否僞裝成功的檢測方式，這裏推介使用億牛雲提供的代碼示例。
PS：如有需要Python爬蟲+數據分析學習資料的粉絲可以點擊下方鏈接自行獲取
http://note.youdao.com/noteshare?id=a3a533247e4c084a72c9ae88c271e3d1

Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要訪問的目標頁面
 targetUrl = "http://httpbin.org/ip"
 # 要訪問的目標HTTPS頁面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服務器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道驗證信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 設置 http和https訪問都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 設置IP切換頭
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要檢測代理是否獲取到，直接在配置代理後訪http://httpbin.org/ip網站，獲取到ip後再訪問www.ip138.com就知道是否獲取到了ip。