對於requests的爬蟲庫，我們已經學到了尾聲。
我們在這兒可以挖掘出更多的requests的使用小技巧。
一.cookie對象與字典的轉換
在爬取目標cookie的時候，我們可以將cookie信息進行簡化處理。
現在做一個簡單的代碼驗證看看，使用百度的cookies：
RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
{'BDORZ': '27315'}
那麼，反過來切換呢？
response_cookie_1=requests.utils.cookiejar_from_dict=(response_dict)
print(response_cookie_1)
輸出結果:
<RequestsCookieJar[<Cookie BDORZ=27315 for />]>
我們可以分析此次的輸出結果可以知道，重新翻譯過來url信息丟失了，具有信息保護性。
二.url編碼的解碼處理
我們在做爬蟲的過程中，是經常會遇到我們輸入的url被解碼成另外一種數據形式。
例如:http://tieba.baidu.com/f?kw=無限法則
我們在對這個網址進行爬蟲處理之後，在輸出結果顯示的時候，已經編碼成了這個形式:
http%3a%2f%2ftieba.baidu.com%2ff%3fkw%3d%e6%97%a0%e9%99%90%e6%b3%95%e5%88%99
翻譯的時候，我們還得上網去翻譯過來。那麼requests正好也提供了這個功能，能夠完成翻譯，避免了你去網上翻譯的過程。
現在就放一段代碼看看：
輸出結果:
http://tieba.baidu.com/f?kw=無限法則
反過來也是一樣的：
url_3=requests.utils.quote(url_2)
print(url_3)
輸出結果:
http%3A//tieba.baidu.com/f%3Fkw%3D%E6%97%A0%E9%99%90%E6%B3%95%E5%88%99
所以我們總結起來，就是這樣：
quote:對URL編碼； unquote:對解碼的URL進行解碼
三.請求SSL證書驗證解決
我們在做爬蟲的時候，會經常遇到網站請求SSL證書的驗證，這將是爬蟲遇到的家常便飯。
那麼我們如何跳過這個SSL證書呢，在get參數中加入一個參數即可。
假設我們訪問百度，遇到了SSL證書問題，我們要做的就是：
response=requests.get("http://www.baidu.com",verify=False)
以上就是三個requests的使用小技巧，當然，requests庫是強大的，能做的不只是這些。
關於其他的用法，我們在今後使用的時候會慢慢探索出來，具有一定的自學能力是最好的。
回顧一下我們學習requests的過程，我們可以做一個總結：
①填寫正確的url形式，是有協議，IP地址，端口和路徑等組成的，其中協議不能忘了寫。
正確的url形式爲"http://www.baidu.com"
②學會對自己的僞裝，準備一堆User-Agent，一堆IP和一堆cookie。
選擇代理IP時，選端口跟自己網絡端口符合的。
③兩種請求方式的公式和參數有如下：
requests.get(url,headers=?(存儲User-Agent參數),params=?(存儲wd訪問參數),proxies=?(存儲IP地址參數),cookies=?(存儲cookies參數),verify=?(解決SSL證書驗證))
requests.post(url,headers=?(存儲User-Agent參數),data=?(存儲form表單參數),proxies=?(存儲IP地址參數),cookies=?(存儲cookies參數),verify=?(解決SSL證書驗證))
當然，這些參數都是以字典的形式而作爲參數。
④顯示源碼最好的方式就是respsonse.content.decode()，如果要將json文本轉爲python文本，使用json庫的json.loads()方法。
保存源碼的方式是with open，標準的格式爲:
with open （"?"(文件的名字)，"w"(進入可讀模式)，encoding="utf-8"(不可缺,不然在編輯器上顯示不出來)）as f :
f.write(response.content.decode())
那麼，requests模塊就學到這兒，但是正確的學習方式是學以致用，我將給自己佈置下面兩個作業：
1.抓取絕地求生貼吧的前5頁源碼。
已成功完成，運行截圖如下：
源碼如下:
import requests
class TiebaSpider():
def __init__(self, tieba_name):
self.tieba_name = tieba_name
self.url = "https://tieba.baidu.com/f?kw=" + tieba_name + "&ie=utf-8&pn={}"
self.proxies = {"http": "http://139.196.90.80:80"}
self.headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6814.400 QQBrowser/10.3.3005.400"}
self.cookies = {
"cookie": "BIDUPSID=ACDA08B4211ABB2C8501DB67D45C6354; PSTM=1511497343; bdshare_firstime=1511786525592; rpln_guide=1; TIEBAUID=0929173e72ad98f36fe7ebc6; TIEBA_USERTYPE=e916512877b43f62b624ed45; BDUSS=RuaHRBTnhZdDY3MTBKaWo3U0lKdkRES2Y0VGEyS2F0RW1BYXYyN3N0bWlIRXRjQVFBQUFBJCQAAAAAAAAAAAEAAABLXgnSxdzF3E1BU1RFUgAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAKKPI1yijyNcMj; STOKEN=5fc0d6f6e16857ed3e6abac93bd75cae1cf244d5fd9d4e106b3ecb9d56017894; locale=zh; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BAIDUID=4D17734C04368D8A9BDE5236D01D183E:FG=1; Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1547216027,1547272466,1547303935,1547367124; wise_device=0; Hm_lpvt_98b9d8c2fd6608d564bf2ac2ae642948=1547367145"}
def get_url_list(self, url):
url_list = []
for i in range(5):
url_list.append(url.format(i * 50))
return url_list
def parse_url(self, url):
response = requests.get(url, headers=self.headers, proxies=self.proxies, cookies=self.cookies)
return response.content.decode()
def save_html(self, html, page_num):
with open(self.tieba_name + "第" + str(page_num) + "頁", "w", encoding="utf") as f:
f.write(html)
def run(self):
# 1.使用url_list成功存儲五頁源碼
url_list = self.get_url_list(self.url)
# 2.獲取響應
# 3.保存源碼到html文件
page_num = 1
for url in url_list:
html = self.parse_url(url)
self.save_html(html, page_num)
print(self.tieba_name + "第" + str(page_num) + "頁爬取成功!")
page_num += 1
if __name__ == "__main__":
tieba_spider = TiebaSpider("絕地求生")
tieba_spider.run()
2.使用搜狗翻譯將英文翻譯成中文。
完成失敗。
總結原因：搜狗採取了反爬蟲，在表單中去掉了翻譯結果的參數。
我嘗試使用正則表達式匹配出來結果，但是技術不精，匹配失敗。
已經自閉，下次再來。