python爬蟲-python 利用代理ip訪問網頁（requests）

之前提到了用urllib使用代理ip的方式，詳見：https://blog.csdn.net/zhouchen1998/article/details/81318300

這裏使用另外一個框架-requests，其設計哲學爲“獻給人類”。它繼承了urllib的所有特性，底層是urllib3。

不同於urllib是python標準庫的內容，他是第三方的，所以需要下載安裝（conda或者pip都可以）。安裝conda和包的方法見我的博客：https://blog.csdn.net/zhouchen1998/article/details/81382006

 這裏我從goubanjia獲取了一個代理ip地址。

import requests
# 訪問的網頁
url = "http://www.baidu.com"
# 使用的代理ip地址
proxy = {"http": '37.10.74.14:8080'}
# 使用方法一
rsp = requests.get(url=url, proxies=proxy)
print(rsp.text)
print("$"*60)
# 使用方法二
rsp = requests.request("get", url, proxies=proxy)
print(rsp.text)

可以看到運行成功，我獲得了我想要的網頁數據供後續處理，當然由於使用代理的國外ip訪問速度稍慢。