Python_爬蟲_二

代理

ProxyHandler處理器(代理)
1、代理的原理:在請求目的網站之前,先請求代理服務器,然後讓代理服務器去請求目的網站,代理服務器拿到目的服務器的網站數據後,再轉發給我們的代碼。
2、http://httpbin.org/ip這個網站可以方便我們查看一些http請求參數
3、使用代理的方法:
ProxyHandle這個方法需要傳入一個字典,key:請求schema,value:代理服務器ip+端口
from urllib import request

url = ‘http://httpbin.org/ip’

rst = request.urlopen(url)

print(rst.read())

使用代理服務器

url = ‘http://httpbin.org/ip’

1、使用ProxyHandler,傳入代理構建一個handler

handler = request.ProxyHandler({‘http’: ‘113.58.232.168:22’})

2、使用上邊創建的handler構建一個opener

opener = request.build_opener(handler)

3、使用opener去發送一個請求

resp = opener.open(url)
print(resp.read())

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章