requests模塊請求參數用法

request是一個超實用的python http客戶端，編寫爬蟲和測試服務器響應數據時經常用到。
requests模塊發送請求，有data、json、params三種攜帶參數的方法，其中data和json在post請求中使用，params在get請求中使用。

參數	請求
data	post
json	post
params	get

以下內容參考官方：https://requests.readthedocs.io/zh_CN/latest/user/quickstart.html

導入

import requests

GET請求

無參

 r = requests.get('https://api.github.com/events')

傳參
你也許經常想爲 URL 的查詢字符串(query string)傳遞某種數據。如果你是手工構建 URL，那麼數據會以鍵/值對的形式置於 URL 中，跟在一個問號的後面。例如， httpbin.org/get?key=val。 Requests 允許你使用 params 關鍵字參數，以一個字符串字典來提供這些參數。舉例來說，如果你想傳遞 key1=value1 和 key2=value2 到 httpbin.org/get ，那麼你可以使用如下代碼：

>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get("http://httpbin.org/get", params=payload)

通過打印輸出該 URL，你能看到 URL 已被正確編碼：


>>> print(r.url)
http://httpbin.org/get?key2=value2&key1=value1

注意字典裏值爲 None 的鍵都不會被添加到 URL 的查詢字符串裏。

參數也可以傳遞列表

>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}

>>> r = requests.get('http://httpbin.org/get', params=payload)
>>> print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3

r.text 返回headers中的編碼解析的結果，可以通過r.encoding='gbk’來變更解碼方式
r.content返回二進制結果
例如，以請求返回的二進制數據創建一張圖片，你可以使用如下代碼：

>>> from PIL import Image
>>> from io import BytesIO

>>> i = Image.open(BytesIO(r.content))

r.json()返回JSON格式，可能拋出異常

# Requests 中也有一個內置的 JSON 解碼器，助你處理 JSON 數據：

>>> import requests

>>> r = requests.get('https://api.github.com/events')
>>> r.json()
[{u'repository': {u'open_issues': 0, u'url': 'https://github.com/...

如果 JSON 解碼失敗， r.json() 就會拋出一個異常。例如，響應內容是 401 (Unauthorized)，嘗試訪問 r.json() 將會拋出 ValueError: No JSON object could be decoded 異常。

需要注意的是，成功調用 r.json() 並不意味着響應的成功。有的服務器會在失敗的響應中包含一個 JSON 對象（比如 HTTP 500 的錯誤細節）。這種 JSON 會被解碼返回。要檢查請求是否成功，請使用 r.raise_for_status() 或者檢查 r.status_code 是否和你的期望相同。

r.status_code，返回響應狀態碼

>>> r = requests.get('http://httpbin.org/get')
>>> r.status_code
200
# 爲方便引用，Requests還附帶了一個內置的狀態碼查詢對象：
>>> r.status_code == requests.codes.ok
True

r.raw返回原始socket respons，需要加參數 stream=True

>>> r = requests.get('https://api.github.com/events', stream=True)
>>> r.raw
<requests.packages.urllib3.response.HTTPResponse object at 0x101194810>
>>> r.raw.read(10)
'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'

但一般情況下，你應該以下面的模式將文本流保存到文件：

with open(filename, 'wb') as fd:
    for chunk in r.iter_content(chunk_size):
        fd.write(chunk)

使用 Response.iter_content 將會處理大量你直接使用 Response.raw 不得不處理的。當流下載時，上面是優先推薦的獲取內容方式。 Note that chunk_size can be freely adjusted to a number that may better fit your use cases.

自定義headers
如果你想爲請求添加 HTTP 頭部，只要簡單地傳遞一個 dict 給 headers 參數就可以了。

>>> url = 'https://api.github.com/some/endpoint'
>>> headers = {'user-agent': 'my-app/0.0.1'}

>>> r = requests.get(url, headers=headers)

注意: 所有的 header 值必須是 string、bytestring 或者 unicode。儘管傳遞 unicode header 也是允許的，但不建議。

超時（timeout）
- 爲防止服務器不能及時響應，大部分發至外部服務器的請求都應該帶着 timeout 參數。在默認情況下，除非顯式指定了 timeout 值，requests 是不會自動進行超時處理的。如果沒有 timeout，你的代碼可能會掛起若干分鐘甚至更長時間。
- 連接超時指的是在你的客戶端實現到遠端機器端口的連接時（對應的是connect()_），Request 會等待的秒數。一個很好的實踐方法是把連接超時設爲比 3 的倍數略大的一個數值，因爲 TCP 數據包重傳窗口 (TCP packet retransmission window) 的默認大小是 3。
- 一旦你的客戶端連接到了服務器並且發送了 HTTP 請求，讀取超時指的就是客戶端等待服務器發送請求的時間。（特定地，它指的是客戶端要等待服務器發送字節之間的時間。在 99.9% 的情況下這指的是服務器發送第一個字節之前的時間）。

# 如果你制訂了一個單一的值作爲 timeout，如下所示：
r = requests.get('https://github.com', timeout=5)

# 這一 timeout 值將會用作 connect 和 read 二者的 timeout。如果要分別制定，就傳入一個元組：
r = requests.get('https://github.com', timeout=(3.05, 27))

# 如果遠端服務器很慢，你可以讓 Request 永遠等待，傳入一個 None 作爲 timeout 值，然後就衝咖啡去吧。
r = requests.get('https://github.com', timeout=None)

Cookie
如果某個響應中包含一些 cookie，你可以快速訪問它們

>>> url = 'http://example.com/some/cookie/setting/url'
>>> r = requests.get(url)

>>> r.cookies['example_cookie_name']
'example_cookie_value'

要想發送你的cookies到服務器，可以使用 cookies 參數：

>>> url = 'http://httpbin.org/cookies'
>>> cookies = dict(cookies_are='working')

>>> r = requests.get(url, cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "working"}}'

Cookie 的返回對象爲 RequestsCookieJar，它的行爲和字典類似，但接口更爲完整，適合跨域名跨路徑使用。你還可以把 Cookie Jar 傳到 Requests 中：

>>> jar = requests.cookies.RequestsCookieJar()
>>> jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
>>> jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
>>> url = 'http://httpbin.org/cookies'
>>> r = requests.get(url, cookies=jar)
>>> r.text
'{"cookies": {"tasty_cookie": "yum"}}'

POST請求

傳遞表單
通常，你要發送一些編碼爲表單形式的數據——非常像一個 HTML 表單。要實現這個，只需簡單地傳遞一個字典給 data 參數。你的數據字典在發出請求時會自動編碼爲表單形式。

>>> payload = {'key1': 'value1', 'key2': 'value2'}

>>> r = requests.post("http://httpbin.org/post", data=payload)
>>> print(r.text)
{
  ...
  "form": {
    "key2": "value2",
    "key1": "value1"
  },
  ...
}

你還可以爲 data 參數傳入一個元組列表。在表單中多個元素使用同一 key 的時候，這種方式尤其有效：

>>> payload = (('key1', 'value1'), ('key1', 'value2'))
>>> r = requests.post('http://httpbin.org/post', data=payload)
>>> print(r.text)
{
  ...
  "form": {
    "key1": [
      "value1",
      "value2"
    ]
  },
  ...
}

傳遞JSON

很多時候你想要發送的數據並非編碼爲表單形式的。如果你傳遞一個 string 而不是一個 dict，那麼數據會被直接發佈出去。

例如，Github API v3 接受編碼爲 JSON 的 POST/PATCH 數據：

>>> import json

>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}

# 方式一
>>> r = requests.post(url, data=json.dumps(payload))

# 方式二
## 此處除了可以自行對 dict 進行編碼，你還可以使用 json 參數直接傳遞，然後它就會被自動編碼。這是 2.4.2 版的新加功能：
>>> r = requests.post(url, json=payload)

傳遞文件

>>> url = 'http://httpbin.org/post'
>>> files = {'file': open('report.xls', 'rb')}

>>> r = requests.post(url, files=files)
>>> r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

配置文件名，文件類型和請求頭：

>>> url = 'http://httpbin.org/post'
>>> files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}

>>> r = requests.post(url, files=files)
>>> r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

如果你想，你也可以發送作爲文件來接收的字符串：

>>> url = 'http://httpbin.org/post'
>>> files = {'file': ('report.csv', 'some,data,to,send\nanother,row,to,send\n')}

>>> r = requests.post(url, files=files)
>>> r.text
{
  ...
  "files": {
    "file": "some,data,to,send\\nanother,row,to,send\\n"
  },
  ...
}

高級用法

重定向與請求歷史
默認情況下，除了 HEAD, Requests 會自動處理所有重定向。

>>> r = requests.get('http://github.com')

>>> r.url
'https://github.com/'

>>> r.status_code
200

>>> r.history
[<Response [301]>]

如果你使用的是GET、OPTIONS、POST、PUT、PATCH 或者 DELETE，那麼你可以通過 allow_redirects 參數禁用重定向處理：

>>> r = requests.get('http://github.com', allow_redirects=False)
>>> r.status_code
301
>>> r.history
[]

如果你使用了 HEAD，你也可以啓用重定向：

>>> r = requests.head('http://github.com', allow_redirects=True)
>>> r.url
'https://github.com/'
>>> r.history
[<Response [301]>]

session會話
超時
你可以告訴 requests 在經過以 timeout 參數設定的秒數時間之後停止等待響應。基本上所有的生產代碼都應該使用這一參數。如果不使用，你的程序可能會永遠失去響應：


>>> requests.get('http://github.com', timeout=0.001)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

注意
timeout 僅對連接過程有效，與響應體的下載無關。 timeout 並不是整個下載響應的時間限制，而是如果服務器在 timeout 秒內沒有應答，將會引發一個異常（更精確地說，是在 timeout 秒內沒有從基礎套接字上接收到任何字節的數據時）If no timeout is specified explicitly, requests do not time out.

錯誤與異常
- 遇到網絡問題（如：DNS 查詢失敗、拒絕連接等）時，Requests 會拋出一個 ConnectionError 異常。
- 如果 HTTP 請求返回了不成功的狀態碼， Response.raise_for_status() 會拋出一個 HTTPError 異常。
- 若請求超時，則拋出一個 Timeout 異常。
- 若請求超過了設定的最大重定向次數，則會拋出一個 TooManyRedirects 異常。
- 所有Requests顯式拋出的異常都繼承自 requests.exceptions.RequestException 。

requests模塊請求參數用法

GET請求

POST請求

高級用法

Nginx R31 doc 官方文檔-01-nginx 如何安裝

Django框架工作流

shell自動創建|管理用戶(useradd|usermod|chage|chown|chmod|chgrp)

socket服務讀取文件index.html

fuse內核模塊掛載

快速搭建rsync免密傳輸文件服務器

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結