第二章 urllib数据库挖掘2.5使用代理IP

2.5使用代理IP

import random
from urllib import request
#反爬虫1：判断请求是否是浏览器
#反爬虫2：判断请求来源的IP
#应对措施：使用代理IP
proxylist = [
    {"http":"121.31.102.124:8123"},
    {"http":"121.237.149.247:3000"},
    {"http":"139.155.112.245:8080"}
]
proxy = random.choice(proxylist)
print(proxy)
#构建处理器对象
proxyHandler = request.ProxyHandler(proxy)#这里不使用代理IP的话默认使用自身设备的IP
req = request.Request("https://editor.csdn.net/md/?not_checkout=1")
#创建自定义opner
opener = request.build_opener(proxyHandler)
#构建请求对象
res=opener.open(req).read().decode()
print(res)