使用代理服務器爬取信息

通過代理服務器訪問目標
可以有效的保護自己

網上快代理就可以買IP
也就是代理服務器

from urllib.request import Request, build_opener
from fake_useragent import UserAgent
from urllib.request import ProxyHandler

url = "http://httpbin.org/get"
headers = {
    "User-Agent": UserAgent().chrome
}
request = Request(url, headers=headers)

# 構建了代理Handler
handler = ProxyHandler({"http": "398707160:[email protected]:16818"})

# 通過 urllib2.build_opener()方法使用這些代理Handler對象，創建自定義opener對象
opener = build_opener(handler)
response = opener.open(request)
print(response.read().decode())