retrying模塊的學習
我們在寫爬蟲的過程中，經常遇到爬取失敗的情況，這個時候我們一般會通過try塊去進行重試，但是每次都寫那麼一堆try塊，真的是太麻煩，所以今天就來說一個比較pythonic的模塊，retrying.
安裝
retring模塊的安裝很簡單直接用匹配安裝即可。
pip install retrying
使用
retring模塊通過裝飾器的形式來進行重試操作的，首先我們看一個簡單的例子
from retrying import retry
@retry(stop_max_attempt_number=5,wait_random_min=1000,wait_random_max=5000)
def run():
print("開始重試")
raise NameError
if __name__ == '__main__':
run()
上面的代碼幹了哪些事呢，首先導入retring的retry模塊
然後裝飾一個run函數，然後調用run,函數內容很簡單就是通過raise拋出一個異常，執行該代碼我們發現。程序打印了五次開始重試，最後一次拋出異常，NameError。
到這裏我們可以感受到重試了，就是這麼簡單的代碼，就完成了五次重試，同時這五次重試的間隔時間也是不同的。
如果想嘗試10次就把上面的stop_max_attempt_number=5，改成10即可，到這裏就可以解釋retry裝飾器的參數了
stop_max_attempt_number:最大重試次數，超過這個次數會停止重試，並報異常。
wait_random_min：隨機等待最小時間。
wait_random_max:隨機等待最大時間。
好了retry的使用就是這麼簡單，在需要重試的函數上面加個裝飾器就好了。
關鍵是裝飾器裏的參數的使用，下面列舉了retrying的參數。
如果不寫參數將會一直重試.
stop_max_attempt_number：在停止之前嘗試的最大次數，最後一次如果還是有異常則會拋出異常，停止運行，默認爲5次
@retry(stop_max_attempt_number=5)
def run():
print("開始重試")
raise NameError
if __name__ == '__main__':
run()
強調總次數。
stop_max_delay：最大延遲時間，大概意思就是：如果調用的函數出現異常，那麼就會重複調用這個函數，最大調用時間，默認爲100毫秒
from retrying import retry
@retry(stop_max_delay=5000)
def run():
print("開始重試")
raise NameError
if __name__ == '__main__':
run()
會重試5秒鐘，強調總時間。
wait_fixed：兩次調用方法期間停留時長, 如果出現異常則會一直重複調用，默認 1000毫秒
from retrying import retry
@retry(wait_fixed=2000)
def run():
print("開始重試")
raise NameError
if __name__ == '__main__':
run()
強調間隔時間。
wait_random_min：在兩次調用方法停留時長，停留最短時間，默認爲0
wait_random_max：在兩次調用方法停留時長，停留最長時間，默認爲1000毫秒
wait_incrementing_increment：每調用一次則會增加的時長，默認 100毫秒
wait_exponential_multiplier和wait_exponential_max：以指數的形式產生兩次retrying之間的停留時間，產生的值爲2^previous_attempt_number * wait_exponential_multiplier，previous_attempt_number是前面已經retry的次數，如果產生的這個值超過了wait_exponential_max的大小，那麼之後兩個retrying之間的停留值都爲wait_exponential_max
retry_on_exception: 指定一個函數，如果此函數返回指定異常，則會重試，如果不是指定的異常則會退出
from retrying import retry
def run2(exception):
return isinstance(exception, ZeroDivisionError)
@retry(retry_on_exception=run2)
def run():
print("開始重試")
a = 1 / 0
if __name__ == '__main__':
run()
retry_on_result：指定一個函數，如果指定的函數返回True，則重試，否則拋出異常退出
from retrying import retry
def run2(r):
return isinstance(r, int)
@retry(retry_on_result=run2)
def run():
print("開始重試")
a = 1
return a
if __name__ == '__main__':
run()
wrap_exception：參數設置爲True/False，如果指定的異常類型，包裹在RetryError中，會看到RetryError和程序拋的Exception error
stop_func: 每次拋出異常時都會執行的函數，如果和stop_max_delay、stop_max_attempt_number配合使用，則後兩者會失效
指定的stop_func會有兩個參數：attempts, delay
wait_func：和stop_func用法差不多，不多描述
看不懂的小夥伴兒可以留言。