1,概述
opener是 urllib.request.OpenerDirector 的實例,我們之前一直都在使用的urlopen,它是一個特殊的opener(也就是模塊幫我們構建好的)。
但是基本的urlopen()方法不支持代理、Cookie等其他的 HTTP/HTTPS高級功能。所以要支持這些功能:
1,使用相關的 Handler處理器 來創建特定功能的處理器對象;
2,然後通過 urllib.request.build_opener()方法使用這些處理器對象,創建自定義opener對象;
3,使用自定義的opener對象,調用open()方法發送請求。
4,注意:如果程序裏所有的請求都使用自定義的opener,可以使用urllib.request.install_opener() 將自定義的 opener 對象 定義爲 全局opener,表示如果之後凡是調用urlopen,都將使用這個opener(根據自己的需求來選擇)。
2,簡單的自定義opener()案例
from urllib import request
def loadPage():
# 1. 創建指定功能的handler處理器對象,也可以是HTTPSHandler
# 指定debuglevel = 1參數,還會將Debug_Log打開,
# 這樣程序在執行的時候,會把收包和發包的報頭在屏幕上自動打印出來,方便調試,有時可以省去抓包的工作。
http_handler = request.HTTPHandler(debuglevel=1)
# 2. 使用處理器對象,返回自定義opener對象,這個opener發送請求時就具有opener的功能
opener = request.build_opener(http_handler)
# 3. 使用opener.open() 發送請求
response = opener.open("http://www.baidu.com/")
return response.read()
if __name__ == "__main__":
html = loadPage()
print(html)
3,ProxyHandler處理器(代理設置)
使用代理IP,這是爬蟲/反爬蟲的第二大招,通常也是最好用的。
很多網站會檢測某一段時間某個IP的訪問次數(通過流量統計,系統日誌等),如果訪問次數多的不像正常人,它會禁止這個IP的訪問。
所以我們可以設置一些代理服務器,每隔一段時間換一個代理,就算IP被禁止,依然可以換個IP繼續爬取。
urllib2中通過ProxyHandler來設置使用代理服務器。
匿名度:通常情況下,使用免費代理是可以看到真實IP的,所以也叫透明代理。透明代理的請求報頭有X-Forwarded-For部分,值是原始客戶端的 IP。
所以,專業爬蟲工程師或爬蟲公司會使用高品質的私密代理,這些代理通常需要找專門的代理供應商購買,再通過用戶名/密碼授權使用。
import os
from urllib import request
def loadPage():
# 獲取指定環境變量的值
# 代理用戶名
proxy_user = os.environ.get('proxy_user')
print(proxy_user)
# 代理密碼
proxy_password = os.environ.get("proxy_password")
print(proxy_password)
# 代理服務器IP
proxy_server = os.environ.get("proxy_server")
# 請求報頭
headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/5.0)"}
# 1. 免費代理,直接使用,但是不穩定,可能用不了
# proxy = {"http" : "121.232.147.178:9000"}
# 2. 私密代理,需要配置用戶名和密碼,有兩種配置方式如下:
# proxy = {"http": "197681237:[email protected]:16516"}
# 在ubuntu環境變量中配置
# 配置路徑:用戶變量:~/.bashrc
proxy = {"http": proxy_user + ":" + proxy_password + "@" + proxy_server}
# 可以處理代理的handler處理器,參數是字典類型
proxy_handler = request.ProxyHandler(proxy)
# 構建自定義opener對象,可以處理代理
opener = request.build_opener(proxy_handler)
# 構建Request請求
req = request.Request("http://www.baidu.com/", headers=headers)
# 使用自定義opener發送請求,同時附加代理處理
response = opener.open(req)
print(response.read())
if __name__ == "__main__":
loadPage()
4,HTTPPasswordMgrWithDefaultRealm()不建議使用,推薦使用ProxyHandler()
HTTPPasswordMgrWithDefaultRealm()類將創建一個密碼管理對象,用來保存 HTTP 請求相關的用戶名和密碼,主要應用兩個場景:
驗證代理授權的用戶名和密碼 (ProxyBasicAuthHandler())
驗證Web客戶端的的用戶名和密碼 (HTTPBasicAuthHandler())
ProxyBasicAuthHandler(代理授權驗證)
如果我們使用之前的代碼來使用私密代理,會報 HTTP 407 錯誤,表示代理沒有通過身份驗證:
HTTP Error 407: Proxy Authentication RequiredHTTPBasicAuthHandler處理器(Web客戶端授權驗證)
有些Web服務器(包括HTTP/FTP等)的有些頁面並不想提供公共訪問權限,或者某些頁面不希望公開,但是可以讓特定的客戶端訪問。那麼用戶在訪問時會要求進行身份認證。
爬蟲直接訪問會報HTTP 401 錯誤,表示訪問身份未經授權:
HTTP Error 401: Unauthorized
from urllib import request
# 用戶名
user = "test"
# 密碼
passwd = "123456"
# Web服務器 IP
webserver = "http://192.168.105.29"
# 1. 構建一個密碼管理對象,用來保存需要處理的用戶名和密碼
passwdmgr = request.HTTPPasswordMgrWithDefaultRealm()
# 2. 添加賬戶信息,第一個參數realm是與遠程服務器相關的域信息,一般沒人管它都是寫None,後面三個參數分別是 Web服務器、用戶名、密碼
passwdmgr.add_password(None, webserver, user, passwd)
# 3. 構建一個HTTP基礎用戶名/密碼驗證的HTTPBasicAuthHandler處理器對象,參數是創建的密碼管理對象
httpauth_handler = request.HTTPBasicAuthHandler(passwdmgr)
# 4. 通過 build_opener()方法使用這些代理Handler對象,創建自定義opener對象,參數包括構建的 proxy_handler
opener = request.build_opener(httpauth_handler)
# 5. 可以選擇通過install_opener()方法定義opener爲全局opener
request.install_opener(opener)
# 6. 構建 Request對象
req = request.Request("http://192.168.105.29")
# 7. 定義opener爲全局opener後,可直接使用urlopen()發送請求
response = request.urlopen(req)
# 8. 打印響應內容
print(response.read())
5,Cookie
1,cookie概述
HTTP是無狀態的面向連接的協議,服務器和客戶端的交互僅限於請求/響應過程,結束之後便斷開,在下一次請求時,服務器會認爲新的客戶端。爲了維護他們之間的鏈接,讓服務器知道這是之前某個用戶發送的請求,則必須在一個地方保存客戶端的信息。
Cookie:通過在 客戶端 記錄的信息確定用戶的身份。
Session:通過在 服務器端 記錄的信息確定用戶的身份。
Cookie 是指某些網站服務器爲了辨別用戶身份和進行Session跟蹤,而儲存在用戶瀏覽器上的文本文件,Cookie可以保持登錄信息到用戶下次與服務器的會話。
2,cookielib庫 和 HTTPCookieProcessor處理器
在Python處理Cookie,一般是通過cookielib模塊和 urllib.request模塊的HTTPCookieProcessor處理器類一起使用。
cookielib模塊:主要作用是提供用於存儲cookie的對象
HTTPCookieProcessor處理器:主要作用是處理這些cookie對象,並構建handler對象。
cookielib 庫
該模塊主要的對象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。CookieJar:管理HTTP cookie值、存儲HTTP請求生成的cookie、向傳出的HTTP請求添加cookie的對象。整個cookie都存儲在內存中,對CookieJar實例進行垃圾回收後cookie也將丟失。
FileCookieJar (filename,delayload=None,policy=None):從CookieJar派生而來,用來創建FileCookieJar實例,檢索cookie信息並將cookie存儲到文件中。filename是存儲cookie的文件名。delayload爲True時支持延遲訪問訪問文件,即只有在需要時纔讀取文件或在文件中存儲數據。
MozillaCookieJar (filename,delayload=None,policy=None):從FileCookieJar派生而來,創建與Mozilla瀏覽器 cookies.txt兼容的FileCookieJar實例。
LWPCookieJar (filename,delayload=None,policy=None):從FileCookieJar派生而來,創建與libwww-perl標準的 Set-Cookie3 文件格式兼容的FileCookieJar實例。
其實大多數情況下,我們只用CookieJar(),如果需要和本地文件交互,就用 MozillaCookjar() 或 LWPCookieJar()
3,cookie屬性
Cookie是http請求報頭中的一種屬性,包括:
Cookie名字(Name)
Cookie的值(Value)
Cookie的過期時間(Expires/Max-Age)
Cookie作用路徑(Path)
Cookie所在域名(Domain),
使用Cookie進行安全連接(Secure)。
前兩個參數是Cookie應用的必要條件,另外,還包括Cookie大小(不同瀏覽器對Cookie個數及大小限制是有差異的)。
Cookie由變量名和值組成,根據 Netscape公司的規定,Cookie格式如下:
Set-Cookie: NAME=VALUE;Expires=DATE;Path=PATH;Domain=DOMAIN_NAME;SECURE
4,cookie應用
案例一:獲取登錄過的百度的cookie
from urllib import request
from http import cookiejar
# 創建CookieJar()對象,可以在內存中存儲Cookie
cookiejar = cookiejar.CookieJar()
# 構建Cookie處理器對象,用來處理Cookie請求
cookie_handler = request.HTTPCookieProcessor(cookiejar)
# 構建自定義opener,發送請求後可以自動記錄cookie到cookiejar
opener = request.build_opener(cookie_handler)
# 發送請求
opener.open("http://www.baidu.com/")
print(cookiejar)
cookie_str = ""
for cookie in cookiejar:
cookie_str += cookie.name + "=" + cookie.value + "; "
print(cookie_str)
# 第一次打印結果如下:
# <CookieJar[
# <Cookie BAIDUID=7851A9154CA33452B13341B793E2DD682DB:FG=1 for .baidu.com/>,
# <Cookie BIDUPSID=7851A91554CA32B13341B793E2DD682DB for .baidu.com/>,
# <Cookie H_PS_PSSID=1437_251108_1677001_20718 for .baidu.com/>,
# <Cookie PSTM=150036721731 for .baidu.com/>,
# <Cookie BDSVRTM=0 for www.baidu.com/>,
# <Cookie BD_HOME=0 for www.baidu.com/>
# ]>
# 第二次打印結果
# BAIDUID=D02C0083135C6986F65CC7E74846F2962:FG=1;
# BIDUPSID=D02C0058313C69865F65CC7E74846F2962;
# H_PS_PSSID=14569_21114_17001_20927;
# PSTM=1550037625191;
# BDSVRTM=0;
# BD_HOME=0;
案例二,訪問網站獲得cookie,並把獲得的cookie保存在cookie文件中
from urllib import request
from http import cookiejar
# 保存cookie到本地磁盤文件名
filename = 'cookie.txt'
# 聲明一個MozillaCookieJar(有save實現)對象實例來保存cookie,之後寫入文件
cookiejar = cookiejar.MozillaCookieJar(filename)
# 使用HTTPCookieProcessor()來創建cookie處理器對象,參數爲CookieJar()對象
handler = request.HTTPCookieProcessor(cookiejar)
# 通過 build_opener() 來構建自定義opener
opener = request.build_opener(handler)
# 創建一個請求
response = opener.open("http://www.baidu.com")
# 保存cookie到本地文件,使用save()方法即可保存cookie
cookiejar.save()
案例三,從文件中獲取cookies,做爲請求的一部分去訪問
from urllib import request
from http import cookiejar
# 創建MozillaCookieJar(有load實現)實例對象
cookiejar = cookiejar.MozillaCookieJar()
# 從文件中讀取cookie內容到變量
cookiejar.load('cookie.txt')
# 使用HTTPCookieProcessor()來創建cookie處理器對象,參數爲CookieJar()對象
handler = request.HTTPCookieProcessor(cookiejar)
# 通過 build_opener() 來構建opener
opener = request.build_opener(handler)
response = opener.open("http://www.baidu.com")
with open('xiaoke.html','wb') as f:
f.write(response.read())
案例四,利用cookiejar和post模擬登錄人人網
from urllib import request, parse
from http import cookiejar
def login(opener):
"""
模擬登錄,返回保存了登錄狀態的opener
opener: 沒有登錄狀態Cookie 的 opener對象
"""
# 登錄需要的數據,不同的網站登錄參數會不一樣
# 這是人人網,老接口,只需要用戶名和密碼
"email": "[email protected]",
"password": "123456"
# "token" : "xxxxxx",
}
# 轉爲url編碼
data = parse.urlencode(fromdata).encode('utf-8')
# 登錄頁面的url地址
url = "http://www.renren.com/PLogin.do"
headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/5.0)"}
# 發送post請求,登錄人人網,並且獲取登錄狀態的cookie
request_1 = request.Request(url, data=data, headers=headers)
# 發送請求,獲取Cookie
opener.open(request_1)
# 返回具有登錄狀態的opener
return opener
def after_login(login_opener):
"""
附帶登錄狀態的Cookie,發送其他頁面的請求
login_opener: 附帶登錄狀態Cookie 的 opener對象
"""
headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/5.0)"}
# 構建人人網隨便一個用戶主頁的請求
request_2 = request.Request("http://www.renren.com/882178992/profile", headers=headers)
# 直接訪問這個頁面
response = login_opener.open(request_2)
with open("renren.html", "wb") as f:
f.write(response.read())
if __name__ == "__main__":
# 用來存儲Cookie,可以動態更新Cookie
cookiejar = cookiejar.CookieJar()
# 構建Cookie處理器對象,用來處理Cookie請求
cookie_handler = request.HTTPCookieProcessor(cookiejar)
# 構建自定義opener,發送請求後可以自動記錄cookie到cookiejar
opener = request.build_opener(cookie_handler)
# 自己賬戶先登錄,登錄之後可以拿到帶有cookie信息的opener
login_opener = login(opener)
# 通過這個帶有cookie信息的opener,去訪問其他用戶的信息
after_login(login_opener)