python爬蟲 urllib模塊url編碼處理詳解

這篇文章主要介紹了python爬蟲 urllib模塊url編碼處理詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
案例：爬取使用搜狗根據指定詞條搜索到的頁面數據（例如爬取詞條爲‘周杰倫’的頁面數據）

import urllib.request
# 1.指定url
url = 'https://www.sogou.com/web?query=周杰倫'
'''
2.發起請求:使用urlopen函數對指定的url發起請求，
該函數返回一個響應對象，urlopen代表打開url
'''
response = urllib.request.urlopen(url=url)
# 3.獲取響應對象中的頁面數據:read函數可以獲取響應對象中存儲的頁面數據(byte類型的數據值)
page_text = response.read()
# 4.持久化存儲：將爬取的頁面數據寫入文件進行保存
with open("sougou.html","wb") as f:
  f.write(page_text)
  print("寫入數據成功")
  f.close()

編碼錯誤

【注意】上述代碼中url存在非ascii編碼的數據，則該url無效。如果對其發起請求，則會報如下錯誤：UnicodeEncodeError: 'ascii' codec can't encode characters in position 15-17: ordinal not in range(128)
url的特性：url不可以存在非ASCII編碼字符數據，url必須爲ASCII編碼的數據值。所以我們在爬蟲代碼中編寫url時，如果url中存在非ASCII編碼的數據值，則必須對其進行ASCII編碼後，該url方可被使用。

上面的“周杰倫” 不是ASCII編碼字符數據，所以url就會變成無效的url，不符合url特性，所以報錯誤

所以必須對url中的非ascii的數據進行ascii的編碼，則該url方可被髮起請求：
需要用到 urllib.parse

方法 1：使用quote函數
quote函數作用：對url中所存在的特殊字符進行ASCII的編碼，把url中的非ascii編碼的字符單獨取出來，使用quote函數進行轉碼，

轉碼之後，把轉碼的結果拼接到原有的url當中。

import urllib.request
import urllib.parse
# 1.指定url
url = 'https://www.sogou.com/web?query=周杰倫'
word = urllib.parse.quote("周杰倫")
# 查看轉碼後結果
print(word)
# %E5%91%A8%E6%9D%B0%E4%BC%A6

from urllib.request import urlopen
import urllib.parse
# 1.指定url
url = 'https://www.sogou.com/web?query='
# url的特性：url不可以存在非ASCII編碼字符數據
word = urllib.parse.quote("周杰倫")
# 將編碼後的數據值拼接回url中
url = url+word # 有效url
'''
2.發起請求:使用urlopen函數對指定的url發起請求，
該函數返回一個響應對象，urlopen代表打開url
'''
response = urlopen(url=url)
# 3.獲取響應對象中的頁面數據:read函數可以獲取響應對象中存儲的頁面數據(byte類型的數據值)
page_text = response.read()
# 4.持久化存儲：將爬取的頁面數據寫入文件進行保存
with open("周杰倫.html","wb") as f:
  f.write(page_text)
print("寫入數據成功")

最後給大家推薦一個口碑不錯的python聚集地【點擊進入】，這裏有很多的老前輩學習技巧，學習心得

，面試技巧，職場經歷等分享，更爲大家精心準備了零基礎入門資料，實戰項目資料，每天都有程序員

定時講解Python技術，分享一些學習的方法和需要留意的小細節