Winsock 完成端口模型簡介 選擇自 byxdaz 的 Blog
關鍵字
Winsock 完成端口模型簡介
出處
摘自《Networking Programming for Microsoft Windows》第八章
“完成端口”模型是迄今爲止最爲複雜的一種I/O模型。然而，假若一個應用程序同時需要管理爲數衆多的套接字，那麼採用這種模型，往往可以達到最佳的系統性能！
從本質上說，完成端口模型要求我們創建一個Win32完成端口對象，通過指定數量的線程，對重疊I/O請求進行管理，以便爲已經完成的重疊I/O請求提供服務。
使用這種模型之前，首先要創建一個I/O完成端口對象，用它面向任意數量的套接字句柄，管理多個I/O請求。要做到這一點，需要調用CreateCompletionPort函數。
該函數定義如下：
HANDLE CreateIoCompletionPort(
HANDLE FileHandle,
HANDLE ExistingCompletionPort,
ULONG_PTR CompletionKey,
DWORD NumberOfConcurrentThreads
);
在我們深入探討其中的各個參數之前，首先要注意該函數實際用於兩個明顯有別的目的：
1. 用於創建一個完成端口對象。
2. 將一個句柄同完成端口關聯到一起。
最開始創建一個完成端口時，唯一感興趣的參數便是NumberOfConcurrentThreads（併發線程的數量）；前面三個參數都會被忽略。NumberOfConcurrentThreads參數的特殊之處在於，它定義了在一個完成端口上，同時允許執行的線程數量。理想情況下，我們希望每個處理器各自負責一個線程的運行，爲完成端口提供服務，避免過於頻繁的線程“場景”切換。若將該參數設爲0，表明系統內安裝了多少個處理器，便允許同時運行多少個線程！可用下述代碼創建一個I/O完成端口：
hIOCP = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 0);
該語句的作用是返回一個句柄，在爲完成端口分配了一個套接字句柄後，用來對那個端口進行標定（引用）。
一、工作者線程與完成端口
成功創建一個完成端口後，便可開始將套接字句柄與對象關聯到一起。但在關聯套接字之前，首先必須創建一個或多個“工作者線程”，以便在I/O請求投遞給完成端口對象後，爲完成端口提供服務。在這個時候，大家或許會覺得奇怪，到底應創建多少個線程，以便爲完成端口提供服務呢？這實際正是完成端口模型顯得頗爲“複雜”的一個方面，因爲服務I/O請求所需的數量取決於應用程序的總體設計情況。在此要記住的一個重點在於，在我們調用CreateIoCompletionPort時指定的併發線程數量，與打算創建的工作者線程數量相比，它們代表的並非同一件事情。早些時候，我們曾建議大家用CreateIoCompletionPort函數爲每個處理器
都指定一個線程（處理器的數量有多少，便指定多少線程）以避免由於頻繁的線程“場景”交換活動，從而影響系統的整體性能。CreateIoCompletionPort函數的NumberOfConcurrentThreads參數明確指示系統：在一個完成端口上，一次只允許n個工作者線程運行。假如在完成端口上創建的工作者線程數量超出n個，那麼在同一時刻，最多隻允許n個線程運行。但實際上，在一段較短的時間內，系統有可能超過這個值，但很快便會把它減少至事先在CreateIoCompletionPort函數中設定的值。那麼，爲何實際創建的工作者線程數量有時要比CreateIoCompletionPort函數設定的多一些呢？這樣做有必要嗎？如先前所述，這主要取決於
應用程序的總體設計情況。假定我們的某個工作者線程調用了一個函數，比如Sleep或WaitForSingleObject，但卻進入了暫停（鎖定或掛起）狀態，那麼允許另一個線程代替它的位置。換言之，我們希望隨時都能執行儘可能多的線程；當然，最大的線程數量是事先在CreateIoCompletionPort調用裏設定好的。這樣一來，假如事先預計到自己的線程有可能暫時處於停頓狀態，那麼最好能夠創建比CreateIoCompletionPort的NumberOfConcurrentThreads參數的值多的線程，以便到時候充分發揮系統的潛力。一旦在完成端口上擁有足夠多的工作者線程來爲I/O請求提供服務，便可着手將套接字句柄同完成端口關聯到一起。這要求我們在一個現有的完成端口上，調用CreateIoCompletionPort函數，同時爲前三個參數——FileHandle，ExistingCompletionPort和CompletionKey——提供套接字的信息。其中， FileHandle參數指定一個要同完成端口關聯在一起的套接字句柄。ExistingCompletionPort參數指定的是一個現有的完成端口。CompletionKey（完成鍵）參數則指定要與某個特定套接字句柄關聯在一起的“單句柄數據”；在這個參數中，應用程序可保存與一個套接字對應的任意類型的信息。之所以把它叫作“單句柄數據”，是由於它只對
應着與那個套接字句柄關聯在一起的數據。可將其作爲指向一個數據結構的指針，來保存套接字句柄；在那個結構中，同時包含了套接字的句柄，以及與那個套接字有關的其他信息。
根據我們到目前爲止學到的東西，首先來構建一個基本的應用程序框架。下面闡述瞭如何使用完成端口模型，來開發一個ECHO服務器應用。在這個程序中，我們基本上按下述步驟行事：
1) 創建一個完成端口。第四個參數保持爲0，指定在完成端口上，每個處理器一次只允許執行一個工作者線程。
2) 判斷系統內到底安裝了多少個處理器。
3) 創建工作者線程，根據步驟2)得到的處理器信息，在完成端口上，爲已完成的I/O請求提供服務。
4) 準備好一個監聽套接字，在端口5150上監聽進入的連接請求。
5) 使用accept函數，接受進入的連接請求。
6) 創建一個數據結構，用於容納“單句柄數據”，同時在結構中存入接受的套接字句柄。
7) 調用CreateIoCompletionPort，將自accept返回的新套接字句柄同完成端口關聯到一起。通過完成鍵（CompletionKey）參數，將單句柄數據結構傳遞給CreateIoCompletionPort。
8) 開始在已接受的連接上進行I/O操作。在此，我們希望通過重疊I/O機制，在新建的套接字上投遞一個或多個異步WSARecv或WSASend請求。這些I/O請求完成後，一個工作者線程會爲I/O請求提供服務，同時繼續處理未來的I/O請求，稍後便會在步驟3 )指定的工作者例程中，體驗到這一點。
9) 重複步驟5 ) ~ 8 )，直至服務器中止。
二、完成端口和重疊I/O
將套接字句柄與一個完成端口關聯在一起後，便可以套接字句柄爲基礎，投遞發送與接收請求，開始對I/O請求的處理。接下來，可開始依賴完成端口，來接收有關I/O操作完成情況的通知。從本質上說，完成端口模型利用了Win32重疊I/O機制。在這種機制中，象WSASend和WSARecv這樣的Winsock API調用會立即返回。此時，需要由我們的應用程序負責在以後的某個時間，通過一個OVERLAPPED結構，來接收調用的結果。在完成端口模型中，要想做到這一點，需要使用GetQueuedCompletionStatus（獲取排隊完成狀態）函數，讓一個或多個工作者線程在完成端口上等待。該函數的定義如下：
BOOL GetQueuedCompletionStatus(
HANDLE CompletionPort,
LPDWORD lpNumberOfBytes,
PULONG_PTR lpCompletionKey,
LPOVERLAPPED* lpOverlapped,
DWORD dwMilliseconds
);
其中，CompletionPort參數對應於要在上面等待的完成端口。lpNumberOfBytes參數負責在完成了一次I/O操作後（如WSASend或WSARecv），接收實際傳輸的字節數。lpCompletionKey參數爲原先傳遞進入CreateIoCompletionPort函數的套接字返回“單句柄數據”。如我們早先所述，大家最好將套接字句柄保存在這個“鍵”（Key）中。lpOverlapped參數用於接收完成的I/O操作的重疊結果。這實際是一個相當重要的參數，因爲可用它獲取每個I/O操作的數據。而最後一個參數，dwMilliseconds，用於指定調用者希望等待一個完成數據包在完成端口上出現的時間。假如將其設爲INFINITE，調用會無休止地等待下去。
三、單句柄數據和單I/O操作數據
一個工作者線程從GetQueuedCompletionStatus這個API調用接收到I/O完成通知後，在lpCompletionKey和lpOverlapped參數中，會包含一些必要的套接字信息。利用這些信息，可通過完成端口，繼續在一個套接字上的I/O處理。通過這些參數，可獲得兩方面重要的套接字數據：單句柄數據，以及單I/O操作數據。其中，lpCompletionKey參數包含了“單句柄數據”，因爲在一個套接字首次與完成端口關聯到一起的時候，那些數據便與一個特定的套接字句柄對應起來了。這些數據正是我們在進行CreateIoCompletionPort API調用的時候，通過CompletionKey參數傳遞的。如早先所述，應用程序可通過該參數傳遞任意類型的數據。通常情況下，應用程序會將與I/O請求有關的套接字句柄保存在這裏。lpOverlapped參數則包含了一個OVERLAPPED結構，在它後面跟隨“單I/O操作數據”。我們的工作者線程處理一個完成數據包時（將數據原封不動打轉回去，接受連接，投遞另一個線程，等等），這些信息是它必須要知道的。單I/O操作數據可以是追加到一個OVERLAPPED結構末尾的、任意數量的字節。假如一個函數要求用到一個OVERLAPPED結構，我們便必須將這樣的一個結構傳遞進去，以滿足它的要求。要想做到這一點，一個簡單的方法是定義一個結構，然後將OVERLAPPED結構作爲新結構的第一個元素使用。舉個例子來說，可定義下述數據結構，實現對單I/O操作數據的管理：
typedef struct
{
OVERLAPPED Overlapped;
WSABUF DataBuf;
CHAR Buffer[DATA_BUFSIZE];
BOOL OperationType;
}PER_IO_OPERATION_DATA
該結構演示了通常要與I/O操作關聯在一起的某些重要數據元素，比如剛纔完成的那個I/O操作的類型（發送或接收請求）。在這個結構中，我們認爲用於已完成I/O操作的數據緩衝區是非常有用的。要想調用一個Winsock API函數，同時爲其分配一個OVERLAPPED結構，既可將自己的結構“造型”爲一個OVERLAPPED指針，亦可簡單地撤消對結構中的OVERLAPPED元素的引用。如下例所示：
PER_IO_OPERATION_DATA PerIoData;
// 可像下面這樣調用一個函數
WSARecv(socket, ..., (OVERLAPPED *)&PerIoData);
// 或像這樣
WSARecv(socket, ..., &(PerIoData.Overlapped));
在工作線程的後面部分，等GetQueuedCompletionStatus函數返回了一個重疊結構（和完成鍵）後，便可通過撤消對OperationType成員的引用，調查到底是哪個操作投遞到了這個句柄之上（只需將返回的重疊結構造型爲自己的PER_IO_OPERATION_DATA結構）。對單I/O操作數據來說，它最大的一個優點便是允許我們在同一個句柄上，同時管理多個I/O操作（讀/寫，多個讀，多個寫，等等）。大家此時或許會產生這樣的疑問：在同一個套接字上，真的有必要同時投遞多個I/O操作嗎？答案在於系統的“伸縮性”，或者說“擴展能力”。例如，假定我們的機器安裝了多箇中央處理器，每個處理器都在運行一個工作者線程，那麼在同一個時
候，完全可能有幾個不同的處理器在同一個套接字上，進行數據的收發操作。
最後要注意的一處細節是如何正確地關閉I/O完成端口—特別是同時運行了一個或多個線程，在幾個不同的套接字上執行I/O操作的時候。要避免的一個重要問題是在進行重疊I/O操作的同時，強行釋放一個OVERLAPPED結構。要想避免出現這種情況，最好的辦法是針對每個套接字句柄，調用closesocket函數，任何尚未進行的重疊I/O操作都會完成。一旦所有套接字句柄都已關閉，便需在完成端口上，終止所有工作者線程的運行。要想做到這一點， 需要使用PostQueuedCompletionStatus函數，向每個工作者線程都發送一個特殊的完成數據包。該函數會指示每個線程都“立即結束並退出”。下面是PostQueuedCompletionStatus函數的定義：
BOOL PostQueuedCompletionStatus(
HANDLE CompletionPort,
DWORD dwNumberOfBytesTransferred,
ULONG_PTR dwCompletionKey,
LPOVERLAPPED lpOverlapped
);
其中，CompletionPort參數指定想向其發送一個完成數據包的完成端口對象。而就dwNumberOfBytesTransferred、dwCompletionKey和lpOverlapped這三個參數來說，每一個都允許我們指定一個值，直接傳遞給GetQueuedCompletionStatus函數中對應的參數。這樣一來，一個工作者線程收到傳遞過來的三個GetQueuedCompletionStatus函數參數後，便可根據由這三個參數的某一個設置的特殊值，決定何時應該退出。例如，可用dwCompletionPort參數傳遞0值，而一個工作者線程會將其解釋成中止指令。一旦所有工作者線程都已關閉，便可使用CloseHandle函數，關閉完成端口，最終安全退出程序。
注：CreateIoCompletionPort ，PostQueuedCompletionStatus ，GetQueuedCompletionStatus 等函數的用法說明。
Platform SDK: Storage
I/O Completion Ports
I/O completion ports are the mechanism by which an application uses a pool of threads that was created when the application was started to process asynchronous I/O requests. These threads are created for the sole purpose of processing I/O requests. Applications that process many concurrent asynchronous I/O requests can do so more quickly and efficiently by using I/O completion ports than by using creating threads at the time of the I/O request.
I/O完成端口(s)是一種機制，通過這個機制，應用程序在啓動時會首先創建一個線程池，然後該應用程序使用線程池處理異步I/O請求。這些線程被創建的唯一目的就是用於處理I/O請求。對於處理大量併發異步I/O請求的應用程序來說，相比於在I/O請求發生時創建線程來說，使用完成端口(s)它就可以做的更快且更有效率。
The CreateIoCompletionPort function associates an I/O completion port with one or more file handles. When an asynchronous I/O operation started on a file handle associated with a completion port is completed, an I/O completion packet is queued to the port. This can be used to combine the synchronization point for multiple file handles into a single object.
CreateIoCompletionPort函數會使一個I/O完成端口與一個或多個文件句柄發生關聯。當與一個完成端口相關的文件句柄上啓動的異步I/O操作完成時，一個I/O完成包就會進入到該完成端口的隊列中。對於多個文件句柄來說，就可以把這些多個文件句柄合併成一個單獨的對象，這個可以被用來結合同步點？
A thread uses the GetQueuedCompletionStatus function to wait for a completion packet to be queued to the completion port, rather than waiting directly for the asynchronous I/O to complete. Threads that block their execution on a completion port are released in last-in-first-out (LIFO) order. This means that when a completion packet is queued to the completion port, the system releases the last thread to block its execution on the port.
調用GetQueuedCompletionStatus函數，某個線程就會等待一個完成包進入到完成端口的隊列中，而不是直接等待異步I/O請求完成。線程（們）就會阻塞於它們的運行在完成端口（按照後進先出隊列順序的被釋放）。這就意味着當一個完成包進入到完成端口的隊列中時，系統會釋放最近被阻塞在該完成端口的線程。
When a thread calls GetQueuedCompletionStatus, it is associated with the specified completion port until it exits, specifies a different completion port, or frees the completion port. A thread can be associated with at most one completion port.
調用GetQueuedCompletionStatus，線程就會將會與某個指定的完成端口建立聯繫，一直延續其該線程的存在週期，或被指定了不同的完成端口，或者釋放了與完成端口的聯繫。一個線程只能與最多不超過一個的完成端口發生聯繫。
The most important property of a completion port is the concurrency value. The concurrency value of a completion port is specified when the completion port is created. This value limits the number of runnable threads associated with the completion port. When the total number of runnable threads associated with the completion port reaches the concurrency value, the system blocks the execution of any subsequent threads that specify the completion port until the number of runnable threads associated with the completion port drops below the concurrency value. The most efficient scenario occurs when there are completion packets waiting in the queue, but no waits can be satisfied because the port has reached its concurrency limit. In this case, when a running thread calls GetQueuedCompletionStatus, it will immediately pick up the queued completion packet. No context switches will occur, because the running thread is continually picking up completion packets and the other threads are unable to run.
完成端口最重要的特性就是併發量。完成端口的併發量可以在創建該完成端口時指定。該併發量限制了與該完成端口相關聯的可運行線程的數目。當與該完成端口相關聯的可運行線程的總數目達到了該併發量，系統就會阻塞任何與該完成端口相關聯的後續線程的執行，直到與該完成端口相關聯的可運行線程數目下降到小於該併發量爲止。最有效的假想是發生在有完成包在隊列中等待，而沒有等待被滿足，因爲此時完成端口達到了其併發量的極限。此時，一個正在運行中的線程調用GetQueuedCompletionStatus時，它就會立刻從隊列中取走該完成包。這樣就不存在着環境的切換，因爲該處於運行中的線程就會連續不斷地從隊列中取走完成包，而其他的線程就不能運行了。
The best value to pick for the concurrency value is the number of CPUs on the machine. If your transaction required a lengthy computation, a larger concurrency value will allow more threads to run. Each transaction will take longer to complete, but more transactions will be processed at the same time. It is easy to experiment with the concurrency value to achieve the best effect for your application.
對於併發量最好的挑選值就是您計算機中cpu的數目。如果您的事務處理需要一個漫長的計算時間，一個比較大的併發量可以允許更多線程來運行。雖然完成每個事務處理需要花費更長的時間，但更多的事務可以同時被處理。對於應用程序來說，很容易通過測試併發量來獲得最好的效果。
The PostQueuedCompletionStatus function allows an application to queue its own special-purpose I/O completion packets to the completion port without starting an asynchronous I/O operation. This is useful for notifying worker threads of external events.
PostQueuedCompletionStatus函數允許應用程序可以針對自定義的專用I/O完成包進行排隊，而無需啓動一個異步I/O操作。這點對於通知外部事件的工作者線程來說很有用。
The completion port is freed when there are no more references to it. The completion port handle and every file handle associated with the completion port reference the completion port. All the handles must be closed to free the completion port. To close the port handle, call the CloseHandle function.
在沒有更多的引用針對某個完成端口時，需要釋放該完成端口。該完成端口句柄以及與該完成端口相關聯的所有文件句柄都需要被釋放。調用CloseHandle可以釋放完成端口的句柄。