變換User-agent僞裝自己

# 上一節中
# 我們沒有加任何修飾單純幾行python代碼
# 請求的user-agent是Python-urllib
# 很遺憾，服務器很容易就識別出了你是機器人
# 所以我們要修改user-agent

from urllib.request import urlopen
from urllib.request import Request
from random import choice

url = "http://www.baidu.com"

user_agents = [
    # 以下綠字通過瀏覽器找到request裏面的user-agent獲得的
    # 或者通過編寫print(request.get_header('User-agent'))獲得
    "Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0",
    "Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"]

headers = {
    # 使用動態user-agent
    # 意思就是上述三行綠字隨機使用
    # User-agent可以去網上搜，一大片
    "User-Agent": choice(user_agents)
}
# 使用request僞裝自己
request = Request(url, headers=headers)
# print(request.get_header('User-agent'))
response = urlopen(request)

info = response.read()

print(info.decode())