一、介紹
爲了方便的實現Cookies、登錄驗證、代理設置,python的簡易HTTP庫,比urllib庫方便。
二、基本用法
2.1 抓取網頁源碼
輸出Response對象的類型、狀態碼、響應體類型、cookies和內容
import requests
r = requests.get('https://csdn.net')
print(type(r))
print(r.status_code)
print(type(r.text))
print(r.cookies)
print(r.text)
2.2 GET請求
2.2.1 基本GET請求
import requests
r = requests.get('http://httpbin.org/get')
print(r.text)
2.2.2 GET添加參數
import requests
data = {
'name':'Kevin',
'age':25
}
r = requests.get('http://httpbin.org/get', params=data)
print(type(r.text))
# 將結果解析爲字典格式
print(type(r.json()))
print(r.json())
2.2.3 抓取二進制數據
抓取圖片、音頻、視頻文件
(前邊類型str型、後邊bytes類型,由於圖片是二進制數據,前邊打印時轉換成了str類型因此會亂碼)
(使用open方法,將文件保存到本地)