I/O早期的問題
Java 1.4之前的早期版本,Java對I/O的支持並不完善,開發人員在開發高性能I/O程序的時候,會面臨以下挑戰和困難
- 沒有數據緩衝區,I/O性能存在問題;
- 沒有C或者C++中的Channel概念,只有輸入和輸出流;
- 同步阻塞式I/O通信(BIO), 通常會導致通信線程被長時間阻塞;
- 支持的字符集有限,硬件可移植性不好;
Linux 網絡I/O模型簡介
Linux的內核將所有外部設備都看做一個文件來操作,對一個文件的讀寫操作會調用內核提供的系統命令,返回一個file descriptor (fd, 文件描述符)。 而對一個socket的讀寫也會有相應的描述符,稱爲socketfd (socket 描述符),描述符就是一個數字,它指向內核中的一個結構體(文件路徑,數據區等一些屬性)。根據UNIX網絡編程對I/O模型的分類,UNIX提供了5種I/O模型,分別如下:
阻塞I/O模型:最常用的I/O模型,缺省情形下,所有文件操作都是阻塞的。
以套接字接口爲例來講解此模型:在進程空間中調用recvfrom,其系統調用直到數據包到達且被複制到應用進程的緩衝區中或者發生錯誤時纔會返回,在此期間會一直等待,進程在從調用recvfrom開始到它返回的整段時間內都是被阻塞的,因此被稱爲阻寨I/O模型,如下圖:
非阻塞I/O模型: recvfrom 從應用層到內核的時候,如果該緩衝區沒有數據的話,就直接返回一個EWOULDBLOCK錯誤,一般都會對非阻塞I/O模型進行輪詢檢查這個狀態,看內核是不是有數據到來。如下圖:
I/O複用模型: Linux提供select/poll, 進程通過將一個或多個fd傳遞給select或poll系統調用,阻塞在select 操作上,這樣select/poll可以幫我們偵測多個fd是否處於就緒狀態。select/poll 是順序掃描fd是否就緒,而且支持的fd數量有限,因此它的使用受到了一些制約。Linux還提供了一個epoll系統調用,epoll使用基於事件驅動方式代替順序掃描,因此性能更高。當有fd就緒時,立即回調函數rollback,如下圖:
信號驅動I/O模型:首先開啓套接口信號驅動I/O功能,並通過系統調用sigaction執行一個信號處理函數(此係統調用立即返回,進程繼續工作,它是非阻塞的)。當數據準備就緒時,就爲該進程生成一個SIGIO信號,通過信號回調通知應用程序調用recvfrom,來讀取數據,並通知主循環函數處理數據,如下圖:
異步I/O:告知內核啓動某個操作,並讓內核在整個操作完成後(包括將數據從內核複製到用戶自己的緩衝區)通知我們。這種模型與信號驅動模型的主要區別是:信號驅動I/O由內核通知我們何時可以開始一個I/O操作;異步I/O 模型由內核通知我們I/O操作何時已經完成,如下圖:
I/O多路複用技術
在I/O編程過程中,當需要同時處理多個客戶端接入請求時,可以利用多線程或者I/O多路複用技術進行處理。I/O多路複用技術通過把多個I/O的阻塞複用到同一個select的阻塞上,從而使得系統在單線程的情況下可以同時處理多個客戶端請求。與傳統的多線程/多進程模型比,I/O多路複用的最大優勢是系統開銷小,系統不需要創建和維護額外進程或者線程,降低了系統的工作量,節省系統資源,I/O多路複用的主要應用場景如下。
- 服務器需要同時處理多個處於監聽狀態或者多個連接狀態的套接字;
- 服務器需要同時處理多種網絡協議的套接字。
目前支持I/O多路複用的系統調用有select、 pselect、 poll、 epoll,在Linux網絡編程過程中,很長一段時間都使用select做輪詢和網絡事件通知,然而select 的一些固有缺陷導致了它的應用受到了很大的限制,最終Linux 選擇了epoll, epoll 與select 的原理比較類似,爲了克服select的缺點,epoll和selet的主要區別如下:
1.epoll支持一個進程打開的socket描述符( FD )不受限制(僅受限於操作系統的最大文件句柄數)。
select最大的缺陷就是單個進程所打開的FD是有一定限制的,它由FD_ SETSIZE設置,默認值是1024。 對於那些需要支持上萬個TCP連接的大型服務器來說顯然太少了。可以選擇修改這個宏然後重新編譯內核,不過這會帶來網絡效率的下降。也可以通過選擇多進程的方案(傳統的Apache方案)解決這個問題,儘管在Linux上創建進程的代價比較小,但仍舊是不可忽視的。另外,進程間的數據交換非常麻煩,對於Java 來說,由於沒有共享內存,需要通過Socket通信或者其他方式進行數據同步,這帶來了額外的性能損耗,增加了程序複雜度,而epoll並沒有這個限制,它所支持的FD上限是操作系統的最大文件句柄數,這個數字遠遠大於1024。例如,在1GB內存的機器上大約是10 萬個句柄左右,具體的值可以通過cat /proc/sys/fs/file- max察看,通常情況下這個值跟系統的內存關係比較大。
2.epoll的I/O效率不會隨着FD數目的增加而線性下降
傳統select/poll 的另一個致命弱點,就是當擁有一個很大的socket集合時,由於網絡延時或者鏈路空閒導致任一時刻只有少部分的socket是“活躍”的,但是select/poll 每次調用都會線性掃描全部的集合,導致效率呈現線性下降。而epoll只會對“活躍”的socket進行操作,這是因爲在內核實現中,epoll是根據每個fd上面的callback函數實現的。那麼,只有“活躍”的socket 纔會去主動調用callback函數,其他idle狀態的socket則不會。
3.epoll使用mmap加速內核與用戶空間的消息傳遞
無論是select、poll還是epoll都需要內核把FD消息通知給用戶空間,因此避免不必要的內存複製就顯得非常重要,epoll是通過內核和用戶空間mmap同一塊內存來實現的。
4.epoll 的API更加簡單
包括創建一個epoll描述符、添加監聽事件、阻塞等待所監聽的事件發生、關閉epoll描述符等。