JavaAIO初探(異步網絡IO)

按照《Unix網絡編程》的劃分,IO模型可以分爲:阻塞IO、非阻塞IO、IO複用、信號驅動IO和異步IO,按照POSIX標準來劃分只分爲兩類:同步IO和異步IO.如何區分呢?首先一個IO操作其實分成了兩個步驟:發起IO請求和實際的IO操作,同步IO和異步IO的區別就在於第二個步驟是否阻塞,如果實際的IO讀寫阻塞請求進程,那麼就是同步IO,因此阻塞IO、非阻塞IO、IO服用、信號驅動IO都是同步IO,如果不阻塞,而是操作系統幫你做完IO操作再將結果返回給你,那麼就是異步IO.阻塞IO和非阻塞IO的區別在於第一步,發起IO請求是否會被阻塞,如果阻塞直到完成那麼就是傳統的阻塞IO,如果不阻塞,那麼就是非阻塞IO.

  Java nio 2.0的主要改進就是引入了異步IO(包括文件和網絡),這裏主要介紹下異步網絡IO API的使用以及框架的設計,以TCP服務端爲例。首先看下爲了支持AIO引入的新的類和接口

  java.nio.channels.AsynchronousChannel標記一個channel支持異步IO操作。

  java.nio.channels.AsynchronousServerSocketChannel ServerSocket的aio版本,創建TCP服務端,綁定地址,監聽端口等。

  java.nio.channels.AsynchronousSocketChannel面向流的異步socket channel,表示一個連接。

  java.nio.channels.AsynchronousChannelGroup異步channel的分組管理,目的是爲了資源共享。一個 AsynchronousChannelGroup綁定一個線程池,這個線程池執行兩個任務:處理IO事件和派發 CompletionHandler.AsynchronousServerSocketChannel創建的時候可以傳入一個 AsynchronousChannelGroup,那麼通過AsynchronousServerSocketChannel創建的 AsynchronousSocketChannel將同屬於一個組,共享資源。

  java.nio.channels.CompletionHandler異步IO操作結果的回調接口,用於定義在IO操作完成後所作的回調工作。AIO 的API允許兩種方式來處理異步操作的結果:返回的Future模式或者註冊CompletionHandler,我更推薦用 CompletionHandler的方式,這些handler的調用是由AsynchronousChannelGroup的線程池派發的。顯然,線程池的大小是性能的關鍵因素。AsynchronousChannelGroup允許綁定不同的線程池,通過三個靜態方法來創建:public static AsynchronousChannelGroup withFixedThreadPool(int nThreads,

  ThreadFactory threadFactory)

  throws IOException

  public static AsynchronousChannelGroup withCachedThreadPool(ExecutorService executor,

  int initialSize)

  public static AsynchronousChannelGroup withThreadPool(ExecutorService executor)

  throws IOException

  需要根據具體應用相應調整,從框架角度出發,需要暴露這樣的配置選項給用戶。

  在介紹完了aio引入的TCP的主要接口和類之後,我們來設想下一個aio框架應該怎麼設計。參考非阻塞nio框架的設計,一般都是採用Reactor模式,Reacot負責事件的註冊、select、事件的派發;相應地,異步IO有個Proactor模式,Proactor負責 CompletionHandler的派發,查看一個典型的IO寫操作的流程來看兩者的區別

  Reactor:  send(msg) -> 消息隊列是否爲空,如果爲空  -> 向Reactor註冊OP_WRITE,然後返回 -> Reactor select -> 觸發Writable,通知用戶線程去處理 ->先註銷Writable(很多人遇到的cpu 100%的問題就在於沒有註銷),處理Writeable,如果沒有完全寫入,繼續註冊OP_WRITE.注意到,寫入的工作還是用戶線程在處理。

  Proactor: send(msg) -> 消息隊列是否爲空,如果爲空,發起read異步調用,並註冊CompletionHandler,然後返回。 -> 操作系統負責將你的消息寫入,並返回結果(寫入的字節數)給Proactor -> Proactor派發CompletionHandler.可見,寫入的工作是操作系統在處理,無需用戶線程參與。事實上在aio的API 中,AsynchronousChannelGroup就扮演了Proactor的角色。

  CompletionHandler有三個方法,分別對應於處理成功、失敗、被取消(通過返回的Future)情況下的回調處理

  public interface CompletionHandler {

  void completed(V result, A attachment);

  void failed(Throwable exc, A attachment);

  void cancelled(A attachment);

  }

  其中的泛型參數V表示IO調用的結果,而A是發起調用時傳入的attchment.

  在初步介紹完aio引入的類和接口後,我們看看一個典型的tcp服務端是怎麼啓動的,怎麼接受連接並處理讀和寫,這裏引用的代碼都是yanf4j 的aio分支中的代碼,可以從svn checkout,svn地址: http://yanf4j.googlecode.com/svn/branches/yanf4j-aio

  第一步,創建一個AsynchronousServerSocketChannel,創建之前先創建一個 AsynchronousChannelGroup,上文提到AsynchronousServerSocketChannel可以綁定一個 AsynchronousChannelGroup,那麼通過這個AsynchronousServerSocketChannel建立的連接都將同屬於一個AsynchronousChannelGroup並共享資源:this.asynchronousChannelGroup = AsynchronousChannelGroup。 withCachedThreadPool(Executors.newCachedThreadPool(),this.threadPoolSize);然後初始化一個AsynchronousServerSocketChannel,通過open方法:this.serverSocketChannel = AsynchronousServerSocketChannel。open(this.asynchronousChannelGroup);通過 nio 2.0引入的SocketOption類設置一些TCP選項:this.serverSocketChannel。 setOption(StandardSocketOption.SO_REUSEADDR,true);this.serverSocketChannel。 setOption(StandardSocketOption.SO_RCVBUF,16*1024);|||

  綁定本地地址

  this.serverSocketChannel。bind(new InetSocketAddress("localhost",8080), 100);其中的100用於指定等待連接的隊列大小(backlog)。完了嗎?還沒有,最重要的監聽工作還沒開始,監聽端口是爲了等待連接上來以便 accept產生一個AsynchronousSocketChannel來表示一個新建立的連接,因此需要發起一個accept調用,調用是異步的,操作系統將在連接建立後,將最後的結果——AsynchronousSocketChannel返回給你

  public void pendingAccept(){

  if (this.started  this.serverSocketChannel.isOpen()) { this.acceptFuture = this.serverSocketChannel.accept(null,

  new AcceptCompletionHandler());

  } else {

  throw new IllegalStateException("Controller has been closed");

  }

  注意,重複的accept調用將會拋出PendingAcceptException,後文提到的read和write也是如此。accept方法的第一個參數是你想傳給CompletionHandler的attchment,第二個參數就是註冊的用於回調的CompletionHandler,最後返回結果Future.你可以對future做處理,這裏採用更推薦的方式就是註冊一個CompletionHandler.那麼accept的 CompletionHandler中做些什麼工作呢?顯然一個赤裸裸的AsynchronousSocketChannel是不夠的,我們需要將它封裝成session,一個session表示一個連接(mina裏就叫IoSession了),裏面帶了一個緩衝的消息隊列以及一些其他資源等。在連接建立後,除非你的服務器只准備接受一個連接,不然你需要在後面繼續調用pendingAccept來發起另一個accept請求

  private final class AcceptCompletionHandler implements

  CompletionHandler {

  @Override

  public void cancelled(Object attachment){

  logger.warn("Accept operation was canceled");

  }

  @Override

  public void completed(AsynchronousSocketChannel socketChannel,

  Object attachment){

  try {

  logger.debug("Accept connection from " + socketChannel.getRemoteAddress());

  configureChannel(socketChannel);

  AioSessionConfig sessionConfig = buildSessionConfig(socketChannel);

  Session session = new AioTCPSession(sessionConfig,AioTCPController.this.configuration。 getSessionReadBufferSize(),AioTCPController.this.sessionTimeout);session.start();

  registerSession(session);

  } catch(Exception e){

  e.printStackTrace();logger.error("Accept error", e);

  notifyException(e);

  } finally {

  pendingAccept();

  }

  @Override

  public void failed(Throwable exc, Object attachment) { logger.error("Accept error", exc);

  try {

  notifyException(exc);

  } finally {

  pendingAccept();

  }

  注意到了吧,我們在failed和completed方法中在最後都調用了pendingAccept來繼續發起accept調用,等待新的連接上來。有的同學可能要說了,這樣搞是不是遞歸調用,會不會堆棧溢出?實際上不會,因爲發起accept調用的線程與CompletionHandler回調的線程並非同一個,不是一個上下文中,兩者之間沒有耦合關係。要注意到,CompletionHandler的回調共用的是 AsynchronousChannelGroup綁定的線程池,因此千萬別在回調方法中調用阻塞或者長時間的操作,例如sleep,回調方法最好能支持超時,防止線程池耗盡。

  連接建立後,怎麼讀和寫呢?回憶下在nonblocking nio框架中,連接建立後的第一件事是幹什麼?註冊OP_READ事件等待socket可讀。異步IO也同樣如此,連接建立後馬上發起一個異步read調用,等待socket可讀,這個是Session.start方法中所做的事情

  public class AioTCPSession {

  protected void start0(){

  pendingRead();

  }

  protected final void pendingRead(){

  if (!isClosed()  this.asynchronousSocketChannel.isOpen()) { if (!this.readBuffer.hasRemaining()) { this.readBuffer = ByteBufferUtils。increaseBufferCapatity(this.readBuffer);

  }|||

  this.readFuture = this.asynchronousSocketChannel.read(this.readBuffer, this, this.readCompletionHandler);

  } else {

  throw new IllegalStateException(

  "Session Or Channel has been closed");

  }

  }

  AsynchronousSocketChannel的read調用與AsynchronousServerSocketChannel的accept調用類似,同樣是非阻塞的,返回結果也是一個Future,但是寫的結果是整數,表示寫入了多少字節,因此read調用返回的是Future,方法的第一個參數是讀的緩衝區,操作系統將IO讀到數據拷貝到這個緩衝區,第二個參數是傳遞給CompletionHandler的attchment,第三個參數就是註冊的用於回調的CompletionHandler.這裏保存了read的結果Future,這是爲了在關閉連接的時候能夠主動取消調用,accept也是如此。現在可以看看read的CompletionHandler的實現

  public final class ReadCompletionHandler implements

  CompletionHandler {

  private static final Logger log = LoggerFactory

  。getLogger(ReadCompletionHandler.class);

  protected final AioTCPController controller;

  public ReadCompletionHandler(AioTCPController controller){

  this.controller = controller;

  }

  @Override

  public void cancelled(AbstractAioSession session){

  log.warn("Session(" + session.getRemoteSocketAddress()

  + ")read operation was canceled");

  }

  @Override

  public void completed(Integer result, AbstractAioSession session) { if (log.isDebugEnabled())

  log.debug("Session(" + session.getRemoteSocketAddress()

  + ")read +" + result + " bytes");

  if(result 0){

  session.updateTimeStamp();session.getReadBuffer()。flip();session.decode();session.getReadBuffer()。compact();

  }

  } finally {

  try {

  session.pendingRead();

  } catch(IOException e){

  session.onException(e);session.close();

  }

  controller.checkSessionTimeout();

  }

  @Override

  public void failed(Throwable exc, AbstractAioSession session) { log.error("Session read error", exc);session.onException(exc);session.close();

  }

  }

   如果IO讀失敗,會返回失敗產生的異常,這種情況下我們就主動關閉連接,通過session.close()方法,這個方法幹了兩件事情:關閉 channel和取消read調用:if (null != this.readFuture) { this.readFuture.cancel(true);

  }

  this.asynchronousSocketChannel.close();   在讀成功的情況下,我們還需要判斷結果result是否小於0,如果小於0就表示對端關閉了,這種情況下我們也主動關閉連接並返回。如果讀到一定字節,也就是result大於0的情況下,我們就嘗試從讀緩衝區中decode出消息,並派發給業務處理器的回調方法,最終通過pendingRead繼續發起 read調用等待socket的下一次可讀。可見,我們並不需要自己去調用channel來進行IO讀,而是操作系統幫你直接讀到了緩衝區,然後給你一個結果表示讀入了多少字節,你處理這個結果即可。而nonblocking IO框架中,是reactor通知用戶線程socket可讀了,然後用戶線程自己去調用read進行實際讀操作。這裏還有個需要注意的地方,就是 decode出來的消息的派發給業務處理器工作最好交給一個線程池來處理,避免阻塞group綁定的線程池。

  IO寫的操作與此類似,不過通常寫的話我們會在session中關聯一個緩衝隊列來處理,沒有完全寫入或者等待寫入的消息都存放在隊列中,隊列爲空的情況下發起write調用

  protected void write0(WriteMessage message){

  boolean needWrite = false;

  synchronized (this.writeQueue) { needWrite = this.writeQueue.isEmpty();this.writeQueue.offer(message);

  }|||

  if(needWrite){

  pendingWrite(message);

  }

  protected final void pendingWrite(WriteMessage message){

  message = preprocessWriteMessage(message);

  if (!isClosed()  this.asynchronousSocketChannel.isOpen()) { this.asynchronousSocketChannel.write(message.getWriteBuffer(),this, this.writeCompletionHandler);

  } else {

  throw new IllegalStateException(

  "Session Or Channel has been closed");

  }

  write調用返回的結果與read一樣是一個Future,而write的CompletionHandler處理的核心邏輯大概是這樣

  @Override

  public void completed(Integer result, AbstractAioSession session) { if (log.isDebugEnabled())

  log.debug("Session(" + session.getRemoteSocketAddress()

  + ")writen " + result + " bytes");

  WriteMessage writeMessage;

  Queue writeQueue = session.getWriteQueue();

  synchronized(writeQueue){

  writeMessage = writeQueue.peek();if (writeMessage.getWriteBuffer() == null || !writeMessage.getWriteBuffer()。hasRemaining()) { writeQueue.remove();if (writeMessage.getWriteFuture() != null) { writeMessage.getWriteFuture()。setResult(Boolean.TRUE);

  }

  try {

  session.getHandler()。onMessageSent(session,writeMessage.getMessage());

  } catch(Exception e){

  session.onException(e);

  }

  writeMessage = writeQueue.peek();

  }

  if (writeMessage != null) {

  try {

  session.pendingWrite(writeMessage);

  } catch(IOException e){

  session.onException(e);session.close();

  }

  compete方法中的result就是實際寫入的字節數,然後我們判斷消息的緩衝區是否還有剩餘,如果沒有就將消息從隊列中移除,如果隊列中還有消息,那麼繼續發起write調用。

  重複一下,這裏引用的代碼都是yanf4j aio分支中的源碼,感興趣的朋友可以直接check out出來看看: http://yanf4j.googlecode.com/svn/branches/yanf4j-aio.在引入了aio之後,java對於網絡層的支持已經非常完善,該有的都有了,java也已經成爲服務器開發的首選語言之一。java的弱項在於對內存的管理上,由於這一切都交給了GC,因此在高性能的網絡服務器上還是Cpp的天下。java這種單一堆模型比之erlang的進程內堆模型還是有差距,很難做到高效的垃圾回收和細粒度的內存管理。

  這裏僅僅是介紹了aio開發的核心流程,對於一個網絡框架來說,還需要考慮超時的處理、緩衝buffer的處理、業務層和網絡層的切分、可擴展性、性能的可調性以及一定的通用性要求。

 

發佈了7 篇原創文章 · 獲贊 11 · 訪問量 22萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章