爬蟲------urllib的工具模塊和異常模塊

url由哪些組成

錨點是指定位到網頁的哪一個部分

urlparse()實現URL的識別和分段

舉個例子：解析
https://book.qidian.com/info/1004608738?wd=123&page=20#Catalog

	url = 'https://book.qidian.com/info/1004608738?wd=123&page=20#Catalog'
"""
url：待解析的url
scheme=''：假如解析的url沒有協議,可以設置默認的協議,如果url有協議，設置此參數無效
allow_fragments=True：是否忽略錨點,默認爲True表示不忽略,爲False表示忽略
"""
result = parse.urlparse(url=url,scheme='http',allow_fragments=True)
print(result)
print(result.scheme)#把協議拿出來
print(result.fragment)#把錨點點出來

urlunparse()可以實現URL的構造

和上面正好相反

import urllib.parse
u = ('https', 'book.qidian.com','/info/1004608738','', 'wd=123&page=20', 'Catalog')#這個裏面解析出來是什麼就傳什麼，空字符串也要傳，否則會報錯
#把這個分離出來的url合起來
result = urllib.parse.urlunparse(u)
print(result)

urljoin()傳遞一個基礎鏈接,根據基礎鏈接可以將某一個不完整的鏈接拼接爲一個完整鏈接

base_url = 'https://book.qidian.com/info/1004608738?wd=123&page=20#Catalog'
sub_url = '/info/100861102'
full_url = parse.urljoin(base_url,sub_url)
print(full_url)

替換，把info後面的替換了

parse_qs()將url編碼格式的參數反序列化爲字典類型

parmas_str = 'page=20&wd=123'
parmas = urllib.parse_qs(parmas_str)
print(parmas)
"""
{'page': ['20'], 'wd': ['123']}
"""

quote()可以將中文轉換爲URL編碼格式

word = '中國夢'
url = 'http://www.baidu.com/s?wd='+urllib.parse.quote(word)
print(url)
"""
運行結果：
http://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD%E6%A2%A6
"""

unquote:可以將URL編碼進行解碼

url = 'http://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD%E6%A2%A6'
print(urllib.parse.unquote(url))
"""
http://www.baidu.com/s?wd=中國夢
"""

異常模塊

URLError

來自urllib庫的error模塊，繼承自OSError,由request模塊產生的異常都可以通過捕捉這個類來處理．

• 沒有網絡連接
• 服務器連接失敗
• 找不到指定的服務器

HTTPError

HTTPError是URLError的子類，我們發出一個請求時，服務器上都會對應一個response應答對象，其中它包含一個數字"響應狀態碼"。

專門用來處理ＨTTP請求錯誤，比如未認證，頁面不存在等

• 有三個屬性：

  • code:返回HTTP的狀態碼

  • reason:返回錯誤原因

  • headers:返回請求頭

import urllib.request
from urllib.error import HTTPError,URLError
import ssl

ssl._create_default_https_context = ssl._create_unverified_context
def check_error():
    """
    因爲HTTPError的父類是URLError，所以我們更好的處理順序應該是
    先捕獲子類的錯誤，再捕獲父類的錯誤
    """
    req_url = 'https://www.baiduxxx.com/'
    try:
        response = urllib.request.urlopen(url=req_url)
        print(response.status)
    except HTTPError as err:
        print(err.code,err.reason,err.headers)
    except error.URLError as err:
        print('===', err.reason)