python——asyncio模塊實現協程、異步編程(一)

 

我們都知道,現在的服務器開發對於IO調度的優先級控制權已經不再依靠系統,都希望採用協程的方式實現高效的併發任務,如js、lua等在異步協程方面都做的很強大。

Python在3.4版本也加入了協程的概念,並在3.5確定了基本完善的語法和實現方式。同時3.6也對其進行了如解除了await和yield在同一個函數體限制等相關的優化。

event_loop 事件循環:程序開啓一個無限的循環,程序員會把一些函數註冊到事件循環上。當滿足事件發生的時候,調用相應的協程函數。
coroutine 協程:協程對象,指一個使用async關鍵字定義的函數,它的調用不會立即執行函數,而是會返回一個協程對象。協程對象需要註冊到事件循環,由事件循環調用。
task 任務:一個協程對象就是一個原生可以掛起的函數,任務則是對協程進一步封裝,其中包含任務的各種狀態。
future: 代表將來執行或沒有執行的任務的結果。它和task上沒有本質的區別
async/await 關鍵字:python3.5 用於定義協程的關鍵字,async定義一個協程,await用於掛起阻塞的異步調用接口。

 

【一】創建協程

首先定義一個協程,在def前加入async聲明,就可以定義一個協程函數。

一個協程函數不能直接調用運行,只能把協程加入到事件循環loop中。asyncio.get_event_loop方法可以創建一個事件循環,然後使用run_until_complete將協程註冊到事件循環,並啓動事件循環。

例如:

 

[python] view plain copy

 

  1. import asyncio  
  2.    
  3. async def fun():  
  4.     print('hello word')  
  5.    
  6. loop = asyncio.get_event_loop()  
  7.   
  8. loop.run_until_complete(fun())  

 

 

 

【二】任務對象task

協程對象不能直接運行,在註冊事件循環的時候,其實是run_until_complete方法將協程包裝成爲了一個任務(task)對象。所謂task對象是Future類的子類。保存了協程運行後的狀態,用於未來獲取協程的結果。

例如:

 

[python] view plain copy

 

  1. import asyncio  
  2.    
  3. async def fun():  
  4.     print('hello word')  
  5.     return 'miao'  
  6.    
  7. loop = asyncio.get_event_loop()  
  8. task = loop.create_task(fun())  
  9. print(task)  
  10. loop.run_until_complete(task)  
  11. print(task)  


 

創建task後,task在加入事件循環之前是pending狀態,因爲do_some_work中沒有耗時的阻塞操作,task很快就執行完畢了。後面打印的finished狀態。
asyncio.ensure_future 和 loop.create_task都可以創建一個task,run_until_complete的參數是一個futrue對象。當傳入一個協程,其內部會自動封裝成task,task是Future的子類。isinstance(task, asyncio.Future)將會輸出True。

 



【三】綁定回調

在task執行完畢的時候可以獲取執行的結果,回調的最後一個參數是future對象,通過該對象可以獲取協程返回值。如果回調需要多個參數,可以通過偏函數導入。

例如:

 

[python] view plain copy

 

  1. import asyncio  
  2.    
  3. async def fun():  
  4.     print('hello word')  
  5.     return 'miao'  
  6.    
  7.   
  8. def callback(future):  
  9.     print('Callback: ', future.result())  
  10.    
  11. loop = asyncio.get_event_loop()  
  12. task = loop.create_task(fun())  
  13. #print(task)  
  14. task.add_done_callback(callback)  
  15. loop.run_until_complete(task)  
  16. #print(task)  


 

 

也可以使用ensure_future獲取返回值

例如:

 

[python] view plain copy

 

  1. import asyncio  
  2.    
  3. async def fun():  
  4.     print('hello word')  
  5.     return 'miao'  
  6.    
  7.   
  8. #def callback(future):  
  9.     #print('Callback: ', future.result())  
  10.    
  11. loop = asyncio.get_event_loop()  
  12. #task = loop.create_task(fun())  
  13. #task.add_done_callback(callback)  
  14. task = asyncio.ensure_future(fun())  
  15. loop.run_until_complete(task)  
  16.   
  17. print('the fun() return is: {}'.format(task.result()))  
  18.   
  19.    


 

 

 

【四】await阻塞

使用async可以定義協程對象,使用await可以針對耗時的操作進行掛起,就像生成器裏的yield一樣,函數讓出控制權。協程遇到await,事件循環將會掛起該協程,執行別的協程,直到其他的協程也掛起或者執行完畢,再進行下一個協程的執行。
耗時的操作一般是一些IO操作,例如網絡請求,文件讀取等。我們使用asyncio.sleep函數來模擬IO操作。協程的目的也是讓這些IO操作異步化。

例如:

 

[python] view plain copy

 

  1. #coding:utf-8    
  2. import asyncio  
  3. import threading    
  4. import time   
  5. async def hello():  
  6.     print("hello 1")  
  7.     r = await asyncio.sleep(1)  
  8.     print("hello 2")  
  9.     
  10.   
  11. def main():  
  12.     loop = asyncio.get_event_loop()  
  13.   
  14.     print("begin")  
  15.     loop.run_until_complete(hello())   
  16.     loop.close()  
  17.     print("end")  
  18.   
  19.   
  20. if __name__ == "__main__":  
  21.     main()  


 

 

【五】3.6更新

①可以在同一個協程函數中同時使用await和yield

例如:

[python] view plain copy

 

  1. import asyncio  
  2. async def ticker(delay, to):  
  3.     for i in range(to):  
  4.         yield i  
  5.         await asyncio.sleep(delay)  
  6.   
  7.   
  8. async def run():  
  9.     async for i in ticker(1, 10):  
  10.         print(i)  
  11.   
  12. loop = asyncio.get_event_loop()  
  13. try:  
  14.     loop.run_until_complete(run())  
  15. finally:  
  16.   
  17.     loop.close()  

 

 

 

 

順帶一提,yield 我們可以暫且認爲是一種中斷機制(詳情可以參考官方文檔,這種解釋只是便於說明await)

例如:

 

[python] view plain copy

 

  1. def a():  
  2.     print("first")    
  3.     yield     
  4.     print("second")   
  5.     yield    
  6.     print("end")   
  7.     yield   
  8.   
  9. if __name__ == "__main__":  
  10.   
  11.     g1=a()  
  12.     print("next1")  
  13.     g1.__next__()  
  14.     print("next2")  
  15.     g1.__next__()  
  16.     print("next3")  
  17.     g1.__next__()  


 

 

 

 

②允許在協程函數中異步推導式

例如:

 

[python] view plain copy

 

  1. async def ticker(delay, to):  
  2.     for i in range(to):  
  3.         yield i  
  4.         await asyncio.sleep(delay)  
  5.   
  6. async def run():  
  7.     result = [i async for i in ticker(1, 10) if i%2]  
  8.     print(result)  
  9. import asyncio  
  10. loop = asyncio.get_event_loop()  
  11. try:  
  12.   
  13.     loop.run_until_complete(run())  
  14. finally:  
  15.   
  16.     loop.close()  
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章