Python的Twisted事件驅動的網絡引擎框架

概述

Twisted是用Python實現的基於事件驅動的網絡引擎框架。Twisted支持許多常見的傳輸及應用層協議，包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。

優越性

使用基於事件驅動的編程模型，而不是多線程模型。
跨平臺：爲主流操作系統平臺暴露出的事件通知系統提供統一的接口。
“內置電池”的能力：提供流行的應用層協議實現，因此Twisted馬上就可爲開發人員所用。
符合RFC規範，已經通過健壯的測試套件證明了其一致性。
能很容易的配合多個網絡協議一起使用。
可擴展。

事件驅動編程

事件驅動編程是一種編程範式，這裏程序的執行流由外部事件來決定。它的特點是包含一個事件循環，當外部事件發生時使用回調機制來觸發相應的處理。另外兩種常見的編程範式是（單線程）同步以及多線程編程。事件驅動模型也就是我們常說的觀察者，或者發佈-訂閱模型；理解它的幾個關鍵點：

一種對象間的一對多的關係；最簡單的如交通信號燈，信號燈是目標（一方），行人注視着信號燈（多方）；
當目標發送改變（發佈），觀察者（訂閱者）就可以接收到改變；
觀察者如何處理（如行人如何走，是快走/慢走/不走，目標不會管的），目標無需干涉；所以就鬆散耦合了它們之間的關係。

下圖表現了單線程、多線程和事件驅動的關係：

在單線程同步模型中，任務按照順序執行。如果某個任務因爲I/O而阻塞，其他所有的任務都必須等待，直到它完成之後它們才能依次執行。這種明確的執行順序和串行化處理的行爲是很容易推斷得出的。如果任務之間並沒有互相依賴的關係，但仍然需要互相等待的話這就使得程序不必要的降低了運行速度。
在多線程版本中，這3個任務分別在獨立的線程中執行。這些線程由操作系統來管理，在多處理器系統上可以並行處理，或者在單處理器系統上交錯執行。這使得當某個線程阻塞在某個資源的同時其他線程得以繼續執行。與完成類似功能的同步程序相比，這種方式更有效率，但程序員必須寫代碼來保護共享資源，防止其被多個線程同時訪問。多線程程序更加難以推斷，因爲這類程序不得不通過線程同步機制如鎖、可重入函數、線程局部存儲或者其他機制來處理線程安全問題，如果實現不當就會導致出現微妙且令人痛不欲生的bug。
在事件驅動版本的程序中，3個任務交錯執行，但仍然在一個單獨的線程控制中。當處理I/O或者其他昂貴的操作時，註冊一個回調到事件循環中，然後當I/O操作完成時繼續執行。回調描述了該如何處理某個事件。事件循環輪詢所有的事件，當事件到來時將它們分配給等待處理事件的回調函數。這種方式讓程序儘可能的得以執行而不需要用到額外的線程。事件驅動型程序比多線程程序更容易推斷出行爲，因爲程序員不需要關心線程安全問題。

什麼情況可以使用事件驅動

程序中有許多任務
任務之間高度獨立
在等待事件到來時，某些任務會阻塞。

一句話，不需要同步處理的多任務處理就可以使用事件驅動了。

Twisted

Twisted中的客戶端和服務器是用Python開發的，採用了一致性的接口。這使得開發新的客戶端和服務器變得很容易實現，可以在客戶端和服務器之間共享代碼，在協議之間共享應用邏輯，以及對某個實現的代碼做測試。Twisted採用了Reactor設計模式，其核心就是Reactor的事件循環。Reactor可以感知網絡、文件系統以及定時器事件。它等待然後處理這些事件，從特定於平臺的行爲中抽象出來，並提供統一的接口，使得在網絡協議棧的任何位置對事件做出響應都變得簡單。

下面以獲取一個URL頁面代碼爲例，同步調用方式如下：

import getPage
 
def processPage(page):
    print page
 
def logError(error):
    print error
 
def finishProcessing(value):
    print "Shutting down..."
    exit(0)
 
url = "http://google.com"
try:
    page = getPage(url)
    processPage(page)
except Error, e:
    logError(error)
finally:
    finishProcessing()

一異步的方式獲取如下：

from twisted.internet import reactor
import getPage
 
def processPage(page):
    print page
    finishProcessing()
 
def logError(error):
    print error
    finishProcessing()
 
def finishProcessing(value):
    print "Shutting down..."
    reactor.stop()
 
url = "http://google.com"
# getPage takes: url, 
# success callback, error callback
getPage(url, processPage, logError)
 
reactor.run()

從上面異步代碼段可以看出，如果編寫丟失了reactor.stop()就會進入死循環,Twisted應對這種複雜性的方式是新增一個稱爲Deferred（延遲）的對象。

Deferreds

Deferred對象以抽象化的方式表達了一種思想，即結果還尚不存在。它同樣能夠幫助管理產生這個結果所需要的回調鏈。Deferred對象包含一對回調鏈，一個是針對操作成功的回調，一個是針對操作失敗的回調。初始狀態下Deferred對象的兩條鏈都爲空。在事件處理的過程中，每個階段都爲其添加處理成功的回調和處理失敗的回調。當一個異步結果到來時，Deferred對象就被“激活”，那麼處理成功的回調和處理失敗的回調就可以以合適的方式按照它們添加進來的順序依次得到調用。

異步版URL獲取器採用Deferred代碼片段如下：

from twisted.internet import reactor
import getPage
 
def processPage(page):
    print page
 
def logError(error):
    print error
 
def finishProcessing(value):
    print "Shutting down..."
    reactor.stop()
 
url = "http://google.com"
deferred = getPage(url) # getPage returns a Deferred
deferred.addCallbacks(success, failure)
deferred.addBoth(stop)
 
reactor.run()

Deferred對象創建時包含兩個添加回調的階段。第一階段，addCallbacks將 processPage和logError添加到它們各自歸屬的回調鏈中。然後addBoth再將finishProcessing同時添加到這兩個回調鏈上。Deferred對象只能被激活一次，如果試圖重複激活將引發一個異常.用圖解的方式來看，回調鏈應該如圖所示：

Transports

Transports代表網絡中兩個通信結點之間的連接。Transports負責描述連接的細節，比如連接是面向流式的還是面向數據報的，流控以及可靠性。TCP、UDP和Unix套接字可作爲transports的例子。Transports實現了ITransports接口

write                   以非阻塞的方式按順序依次將數據寫到物理連接上
writeSequence           將一個字符串列表寫到物理連接上
loseConnection          將所有掛起的數據寫入，然後關閉連接
getPeer                 取得連接中對端的地址信息
getHost                 取得連接中本端的地址信息

Protocols

Protocols描述瞭如何以異步的方式處理網絡中的事件。HTTP、DNS以及IMAP是應用層協議中的例子。Protocols實現了IProtocol接口，它包含如下的方法：

makeConnection               在transport對象和服務器之間建立一條連接
connectionMade               連接建立起來後調用
dataReceived                 接收數據時調用
connectionLost               關閉連接時調用

詳細的 reactor、transport、protocols例子

運行服務器端腳本將啓動一個TCP服務器，監聽端口8000上的連接。服務器採用的是Echo協議，數據經TCP transport對象寫出。運行客戶端腳本將對服務器發起一個TCP連接，回顯服務器端的迴應然後終止連接並停止reactor事件循環。這裏的Factory用來對連接的雙方生成protocol對象實例。兩端的通信是異步的，connectTCP負責註冊回調函數到reactor事件循環中，當socket上有數據可讀時通知回調處理。

服務器部分

  from twisted.internet import protocol, reactor
   
  class Echo(protocol.Protocol):
      def dataReceived(self, data):
          # As soon as any data is received, write it back
          self.transport.write(data)
   
  class EchoFactory(protocol.Factory):
      def buildProtocol(self, addr):
          return Echo()
   
  reactor.listenTCP(8000, EchoFactory())
  reactor.run()

客戶端部分

  from twisted.internet import reactor, protocol
   
  class EchoClient(protocol.Protocol):
      def connectionMade(self):
          self.transport.write("hello, world!")
   
  def dataReceived(self, data):
      print "Server said:", data
          self.transport.loseConnection()
   
  def connectionLost(self, reason):
      print "connection lost"
   
  class EchoFactory(protocol.ClientFactory):
      def buildProtocol(self, addr):
          return EchoClient()
   
  def clientConnectionFailed(self, connector, reason):
      print "Connection failed - goodbye!"
          reactor.stop()
   
  def clientConnectionLost(self, connector, reason):
      print "Connection lost - goodbye!"
          reactor.stop()
   
  reactor.connectTCP("localhost", 8000, EchoFactory())
  reactor.run()

Applications

Twisted是用來創建具有可擴展性、跨平臺的網絡服務器和客戶端的引擎。Applications基礎組件包含4個主要部分：服務（Service）、應用（Application）、配置管理（通過TAC文件和插件）以及twistd命令行程序。爲了說明這個基礎組件，我們將上一節的Echo服務器轉變成一個應用。

Service

IService接口下實現的可以啓動和停止的組件。Twisted自帶有TCP、FTP、HTTP、SSH、DNS等服務以及其他協議的實現。其中許多Service都可以註冊到單獨的應用中。IService接口的核心是：

startService    啓動服務。可能包含加載配置數據，設定數據庫連接或者監聽某個端口
stopService     關閉服務。可能包含將狀態保存到磁盤，關閉數據庫連接或者停止監聽端口

Application

Application是處於最頂層的Service，代表了整個Twisted應用程序。Service需要將其自身同Application註冊，然後就可以用下面我們將介紹的部署工具twistd搜索並運行應用程序。我們將創建一個可以同Echo Service註冊的Echo應用。

TAC文件

當在一個普通的Python文件中管理Twisted應用程序時，需要由開發者負責編寫啓動和停止reactor事件循環以及配置應用程序的代碼。在Twisted的基礎組件中，協議的實現都是在一個模塊中完成的，需要使用到這些協議的Service可以註冊到一個Twisted應用程序配置文件中（TAC文件）去，這樣reactor事件循環和程序配置就可以由外部組件來進行管理。

要將我們的Echo服務器轉變成一個Echo應用，我們可以按照以下幾個簡單的步驟來完成：

將Echo服務器的Protocol部分移到它們自己所歸屬的模塊中去。
在TAC文件中：
- 創建一個Echo應用。
- 創建一個TCPServer的Service實例，它將使用我們的EchoFactory，然後同前面創建的應用完成註冊。

管理reactor事件循環的代碼將由twistd來負責，我們下面會對此進行討論。這樣，應用程序的代碼就變成這樣了：

echo.py文件：

from twisted.internet import protocol, reactor
 
class Echo(protocol.Protocol):
    def dataReceived(self, data):
        self.transport.write(data)
 
class EchoFactory(protocol.Factory):
    def buildProtocol(self, addr):
        return Echo()

twistd

twistd（讀作“twist-dee”）是一個跨平臺的用來部署Twisted應用程序的工具。它執行TAC文件並負責處理啓動和停止應用程序。作爲Twisted在網絡編程中具有“內置電池”能力的一部分，twistd自帶有一些非常有用的配置標誌，包括將應用程序轉變爲守護進程、定義日誌文件的路徑、設定特權級別、在chroot下運行、使用非默認的reactor，甚至是在profiler下運行應用程序。

我們可以像這樣運行這個Echo服務應用：

twistd –y echo_server.tac

在這個簡單的例子裏，twistd將這個應用程序作爲守護進程來啓動，日誌記錄在twistd.log文件中。啓動和停止應用後，日誌文件內容如下：

2011-11-19 22:23:07-0500 [-] Log opened.
2011-11-19 22:23:07-0500 [-] twistd 11.0.0 (/usr/bin/python 2.7.1) starting up.
2011-11-19 22:23:07-0500 [-] reactor class: twisted.internet.selectreactor.SelectReactor.
2011-11-19 22:23:07-0500 [-] echo.EchoFactory starting on 8000
2011-11-19 22:23:07-0500 [-] Starting factory <echo.EchoFactory instance at 0x12d8670>
2011-11-19 22:23:20-0500 [-] Received SIGTERM, shutting down.
2011-11-19 22:23:20-0500 [-] (TCP Port 8000 Closed)
2011-11-19 22:23:20-0500 [-] Stopping factory <echo.EchoFactory instance at 0x12d8670>
2011-11-19 22:23:20-0500 [-] Main loop terminated.
2011-11-19 22:23:20-0500 [-] Server Shut Down.

通過使用Twisted框架中的基礎組件來運行服務，這麼做使得開發人員能夠不用再編寫類似守護進程和記錄日誌這樣的冗餘代碼了。這同樣也爲部署應用程序建立了一個標準的命令行接口。

#Plugins

對於運行Twisted應用程序的方法，除了基於TAC文件外還有一種可選的方法，這就是插件系統。TAC系統可以很方便的將Twisted預定義的服務同應用程序配置文件註冊，而插件系統能夠方便的將用戶自定義的服務註冊爲twistd工具的子命令，然後擴展應用程序的命令行接口。

在使用插件系統時：

由於只有plugin API需要保持穩定，這使得第三方開發者能很容易地擴展軟件。
插件發現能力已經集成到系統中了。插件可以在程序首次運行時加載並保存，每次程序啓動時會重新觸發插件發現過程，或者也可以在程序運行期間反覆輪詢新插件，這使得在程序已經啓動後我們還可以判斷是否有新的插件安裝上了。

當使用Twisted插件系統來擴展軟件時，我們要做的就是創建IPlugin接口下實現的對象並將它們放到一個特定的位置中，這裏插件系統知道該如何去找到它們。

我們已經將Echo服務轉換爲一個Twisted應用程序了，而將其轉換爲一個Twisted插件也是非常簡單直接的。在我們之前的Echo模塊中，除了包含有Echo協議和EchoFactory的定義之外，現在我們還要添加一個名爲twistd的目錄，其中還包含着一個名爲plugins的子目錄，這裏正是我們需要定義echo插件的地方。通過這個插件，我們可以啓動一個echo服務，並將需要使用的端口號作爲參數指定給twistd工具。

from zope.interface import implements
 
from twisted.python import usage
from twisted.plugin import IPlugin
from twisted.application.service import IServiceMaker
from twisted.application import internet
 
from echo import EchoFactory
 
class Options(usage.Options):
    optParameters = [["port", "p", 8000, "The port number to listen on."]]
 
class EchoServiceMaker(object):
    implements(IServiceMaker, IPlugin)
    tapname = "echo"
    description = "A TCP-based echo server."
    options = Options
 
def makeService(self, options):
    """
    Construct a TCPServer from a factory defined in myproject.
    """
    return internet.TCPServer(int(options["port"]), EchoFactory())
 
serviceMaker = EchoServiceMaker()

現在，我們的Echo服務器將作爲一個服務選項出現在twistd –help的輸出中。運行twistd echo –port=1235將在端口1235上啓動一個Echo服務器。

Twisted還帶有一個可拔插的針對服務器端認證的模塊twisted.cred，插件系統常見的用途就是爲應用程序添加一個認證模式。我們可以使用twisted.cred中現成的AuthOptionMixin類來添加針對各種認證的命令行支持，或者是添加新的認證類型。比如，我們可以使用插件系統來添加基於本地Unix密碼數據庫或者是基於LDAP服務器的認證方式。

twistd工具中附帶有許多Twisted所支持的協議插件，只用一條單獨的命令就可以完成啓動服務器的工作了。這裏有一些通過twistd啓動服務器的例子：

twistd web –port 8080 –path .

這條命令將在8080端口啓動一個HTTP服務器，在當前目錄中負責處理靜態和動態頁面請求。

twistd dns –p 5553 –hosts-file=hosts

這條命令在端口5553上啓動一個DNS服務器，解析指定的文件hosts中的域名，這個文件的內容格式同/etc/hosts一樣。

sudo twistd conch –p tcp:2222

這條命令在端口2222上啓動一個SSH服務器。ssh的密鑰必須獨立設定。

twistd mail –E –H localhost –d localhost=emails

這條命令啓動一個ESMTP POP3服務器，爲本地主機接收郵件並保存到指定的emails目錄下。

我們可以方便的通過twistd來搭建一個用於測試客戶端功能的服務器，但它同樣是可裝載的、產品級的服務器實現。

在部署應用程序的方式上，Twisted通過TAC文件、插件以及命令行工具twistd的部署方式已經獲得了成功。但是有趣的是，對於大多數大型Twisted應用程序來說，部署它們仍然需要重寫一些這類管理和監控組件；Twisted的架構並沒有對系統管理員的需求呈現出太多的友好性。這也反映了一個事實，那就是對於系統管理員來說Twisted歷來就沒有太多架構可言，而這些系統管理員纔是部署和維護應用程序的專家。在這方面，Twisted在未來架構設計的決策上需要更積極的徵求這類專家級用戶的反饋意見。

Python的Twisted事件驅動的網絡引擎框架

Python的Twisted事件驅動的網絡引擎框架

概述

優越性

事件驅動編程

什麼情況可以使用事件驅動

Twisted

Deferreds

Transports

Protocols

詳細的 reactor、transport、protocols例子

Applications

Service

Application

TAC文件

twistd

Python中的with是測試常用到的資源打開利器

微信小程序的自動化測試框架

Swagger 這一個文章就夠了

C#的FTP服務器源代碼

Docker 容器連接

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結