Python爬蟲(四) URLError、HTTPError異常處理

1.URLError

首先解釋下URLError可能產生的原因:

網絡無連接,即本機無法上網
連接不到特定的服務器
服務器不存在

在代碼中,我們需要用try-except語句來包圍並捕獲相應的異常。下面是一個例子:

import urllib.request

request = urllib.request.Request(‘https://www.xxx.com‘)
try:
urllib.request.urlopen(request)
print(“success”)
except urllib.request.URLError as e:
print(“error”,e)

我們利用了 urlopen方法訪問了一個不存在的網址,運行結果如下:

error <urlopen error [WinError 10060] 由於連接方在一段時間後沒有正確答覆或連接的主機沒有反應,連接嘗試失敗。>

2.HTTPError

HTTPError是URLError的子類,在你利用urlopen方法發出一個請求時,服務器上都會對應一個應答對象response,其中它包含一個數字”狀態碼”。舉個例子,假如response是一個”重定向”,需定位到別的地址獲取文檔,urllib將對此進行處理。

其他不能處理的,urlopen會產生一個HTTPError,對應相應的狀態嗎,HTTP狀態碼錶示HTTP協議所返回的響應的狀態。下面列出一些常見的狀態碼:

200:請求成功      處理方式:獲得響應的內容,進行處理 
302:請求到的資源在一個不同的URL處臨時保存        處理方式:重定向到臨時的URL 
304:請求的資源未更新     處理方式:丟棄 401:未授權     處理方式:丟棄 
403:禁止      處理方式:丟棄 
404:沒有找到     處理方式:丟棄 
500:服務器內部錯誤     服務器遇到了一個未曾預料的狀況,導致了它無法完成對請求的處理。一般來說,這個問題都會在服務器端的源代碼出現錯誤時出現。    
501:服務器無法識別  服務器不支持當前請求所需要的某個功能。當服務器無法識別請求的方法,並且無法支持其對任何資源的請求。   
502:錯誤網關  作爲網關或者代理工作的服務器嘗試執行請求時,從上游服務器接收到無效的響應。

HTTPError實例產生後會有一個code屬性,這就是是服務器發送的相關錯誤號。
因爲urllib可以爲你處理重定向,也就是3開頭的代號可以被處理,並且100-299範圍的號碼指示成功,所以你只能看到400-599的錯誤號碼。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章