1.Requests庫的安裝
Win平臺:"windows+R"輸入cmd,在命令行中輸入 pip install requests
安裝完成後可以通過import requests
進行檢測,不報錯,證明安裝成功
2.Requests庫的7個主要方法
方法 | 說明 |
---|---|
requests.request() | 構造一個請求,支撐以下各方法的基礎方法 |
requests.get() | 獲取HTML網頁的主要方法,對應於HTTP的GET |
requests.head() | 獲取HTML網頁頭信息的方法,對應於HTTP的HEAD |
requests.post() | 向HTML網頁提交POST請求的方法,對應於HTTP的POST |
requests.put() | 向HTML網頁提交PUT請求的方法,對應於HTTP的PUT |
requests.patch() | 向HTML網頁提交局部修改請求,對應於HTTP的PATCH |
requests.delete() | 向HTML頁面提交刪除請求,對應於HTTP的DELETE |
以get方法爲例:
def get(url, params=None, **kwargs):
r"""Sends a GET request.
:param url: URL for the new :class:`Request` object.
:param params: (optional) Dictionary, list of tuples or bytes to send
in the body of the :class:`Request`.
:param \*\*kwargs: Optional arguments that ``request`` takes.
:return: :class:`Response <Response>` object
:rtype: requests.Response
"""
kwargs.setdefault('allow_redirects', True)
return request('get', url, params=params, **kwargs)
參考get方法的文檔可以看出get方法使用了request方法進行封裝,也就是說request庫一共提供7常用方法,除了第一個request方法外,其它的6個方法都是通過調用request方法實現的。其實也可以這樣認爲requests庫其實只有一個方法,就是request方法,但是爲了讓大家編寫程序更方便,提供了額外6個方法。
r = requests.get ( url , params=None , **kwargs )
url:擬獲取頁面的url鏈接
params:url中的額外參數,字典或字節流格式,可選
**kwargs:12個控制訪問的參數
3.Requests庫的2個重要對象
在requests庫中,有兩個重要的對象
同樣我們以get方法爲例:
# response對象包含服務器返回的所有信息,也包含請求的request信息
import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
print(type(r))
# 200
# <class 'requests.models.Response'>
Response對象的屬性
屬性 | 說明 |
---|---|
r.status_code | HTTP請求的返回狀態, 200表示連接成功, 404表示失敗 |
r.text | HTTP響應內容的字符串形式,即, url對應的頁面內容 |
r.encoding | 從HTTP header中猜測的響應內容編碼方式 |
r.apparent_encoding | 從內容中分析出的響應內容編碼方式(備選編碼方式) |
r.content | HTTP響應內容的二進制形式 |
理解Response的編碼:
—r.encoding:編碼方式是從http的heder中的charset字段獲得的,如果header中不存在charset,則默認認爲編碼爲ISO-8859-1,這樣的編碼不能解析中文。
—r.apparent_encoding:根據http的內容部分,而不是頭部分,去分析內容中出現文本可能的編碼形式。即根據網頁內容分析出的編碼方式。
<!--HTML5網頁代碼基本框架-->
<!doctype html>
<html>
<head>
<meta charset="utf-8">
<title>無標題文檔</title>
</head>
<body>
<!--網頁主體-->
</body>
</html>
爲什麼將r.apparent_encoding解析出來的編碼方式賦給r.encoding後,網頁中的中文就可以分析出來,難道r.text是以r.encoding的方式進行編碼的嗎?爲什麼頭部分析出來的編碼方式會與內容解析出來的不同?
理解Requests庫的異常
異常 說明
requests.ConnectionError 網絡連接錯誤異常,如DNS查詢失敗、拒絕連接等
requests.HTTPError HTTP錯誤異常
requests.URLRequired URL缺失異常
requests.TooManyRedirects 超過最大重定向次數, 產生重定向異常
requests.ConnectTimeout 連接遠程服務器超時異常
requests.Timeout 請求URL超時,產生超時異常
r.raise_for_status():在方法內部判斷r.status_code是否等於200,不需要增加額外的if語句,該語句便於利用try-except進行異常處理,如果狀態碼不是200,產生異常requests.HTTPError。
import requests
def getHTMLText(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
# print(r.status_code)
return "產生異常!"
if __name__=="__main__":
url = "http://www.baidu.com"
print(getHTMLText(url))
HTTP協議及Requests庫方法
HTTP,HyperText Transfer Protocol,超文本傳輸協議。是一個基於“請求與響應”模式的、無狀態的應用層協議。無狀態指的是第一次請求與第二次請求之間並沒有相關的關聯。
HTTP協議採用URL作爲定位網絡資源的標識,URL格式如下:
http://host[:port][path]
host:合法的Internet主機域名或IP地址
port:端口號,缺省端口爲80
path:請求資源的路徑
HTTP實例: http://www.bit.edu.cn
http://220,181,111,188/duty
URL是通過HTTP協議存取資源的Internet路徑,它就像我們電腦裏邊的一個文件的路徑一樣,只不過這個文件不在電腦裏,在internet上,那每一個URL,對應了internet上的一個數據資源。
HTTP協議對資源的操作
方法 說明
GET 請求獲取URL位置的資源
HEAD 請求獲取URL位置資源的響應消息報告,即獲得該資源的頭部信息
POST 請求向URL位置的資源後附加新的數據
PUT 請求向URL位置存儲一個資源,覆蓋原URL位置的資源
PATCH 請求局部更新URL位置的資源,即改變該處資源的部分內容
DELETE 請求刪除URL位置存儲的資源
理解PATCH和PUT的區別
假設URL位置有一組數據UserInfo,包括UserID、UserName等20個字段
需求:用戶修改了UserName,其他不變。
⿻採用PATCH,僅向URL提交UserName的局部更新請求。
⿻採用PUT,必須將所有20個字段一併提交到URL,未提交字段被刪除。
PATCH的最主要好處:節省網絡帶寬(當URL對應的資源是很龐大資源的時候)
HTTP協議與Requests庫
HTTP協議方法 Requests庫方法 功能一致性
GET requests. get( ) 一致
HEAD requests . head( ) 一致
POST requests . post( ) 一致
PUT requests . put( ) 一致
PATCH requests . patch( ) 一致
DELETE requests . delete( ) 一致