本文知識點
- 隧道代理的使用流程
- 代碼樣例
- 進階學習
前提條件: 隧道代理的訂單,可以免費試用。聯繫他們的客服開通試用
使用流程
- 獲取隧道信息
- 設置代理,進行驗證
- 開始爬取
代理驗證採用用戶名密碼的方式。這種驗證很方便,簡潔。
代碼樣例
先把代碼貼出來,再一步一步按要求來。大家先copy過去,代碼裏需要注意以下三項皆爲實際在快代理官網獲得的參數。
- proxy 隧道的host和端口
- username, password 代理驗證的用戶名與密碼
- page_url 默認是快代理驗證IP的測試網址,自己也可以改成其他的網址
以下代碼爲python3所寫
"""快代理代理IP使用教程"""
import requests
import random
# 要訪問的目標網頁
page_url = "http://dev.kdlapi.com/testproxy"
# 隧道的host與端口
proxy = "tps163.kdlapi.com:15818"
# 用戶名和密碼(隧道代理分配的)
username = ""
password = ""
# 代理IP的格式
proxies = {
"http": "http://%(user)s:%(pwd)s@%(proxy)s/" % {'user': username, 'pwd': password, 'proxy': proxy},
"https": "https://%(user)s:%(pwd)s@%(proxy)s/" % {'user': username, 'pwd': password, 'proxy': proxy
}}
# 添加header,模擬用戶請求
headers = {
"Accept-Encoding": "Gzip", # 使用gzip壓縮傳輸數據讓訪問更快
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36"
}
# 發送request請求,打印響應code與body內容
r = requests.get(url=page_url, proxies=proxies, headers=headers)
print("response code",r.status_code)
print("response body",r.text)
獲取隧道代理的信息
打開後臺,找到訂單,點擊管理
隧道的host就是ip,端口,用戶名密碼等信息
開始爬取
需要的都找到了,那現在運行下。看看結果,結果如下
response code 200。
隧道代理是分配一個固定的IP和端口,直接設置到代理裏就好,它會自動更換IP的。