java nio整理

Java nio的3個特性 
Java NIO(New IO)是一個可以替代標準Java IO API的IO API（從Java 1.4開始)，Java NIO提供了與標準IO不同的IO工作方式。 

Channels and Buffers（通道和緩衝區） 
標準的IO基於字節流和字符流進行操作的，而NIO是基於通道（Channel）和緩衝區（Buffer）進行操作，數據總是從通道讀取到緩衝區中，或者從緩衝區寫入到通道中。 

Asynchronous IO（異步IO） 
Java NIO可以讓你異步的使用IO，例如：當線程從通道讀取數據到緩衝區時，線程還是可以進行其他事情。當數據被寫入到緩衝區時，線程可以繼續處理它。從緩衝區寫入通道也類似。 

Selectors（選擇器） 
Java NIO引入了選擇器的概念，選擇器用於監聽多個通道的事件（比如：連接打開，數據到達）。因此，單個的線程可以監聽多個數據通道。 

Java NIO 由以下幾個核心部分組成 
Channels 
Buffers 
Selectors 
雖然Java NIO 中除此之外還有很多類和組件，但在我看來，Channel，Buffer 和 Selector 構成了核心的API。其它組件，如Pipe和FileLock，只不過是與三個核心組件共同使用的工具類。因此，在概述中我將集中在這三個組件上。其它組件會在單獨的章節中講到。 

Channel 和 Buffer 
基本上，所有的 IO 在NIO 中都從一個Channel 開始。Channel 有點象流。 數據可以從Channel讀到Buffer中，也可以從Buffer 寫到Channel中。這裏有個圖示： 
 

Channel和Buffer有好幾種類型。下面是JAVA NIO中的一些主要Channel的實現： 
FileChannel 
DatagramChannel 
SocketChannel 
ServerSocketChannel 
正如你所看到的，這些通道涵蓋了UDP 和 TCP 網絡IO，以及文件IO。 

與這些類一起的有一些有趣的接口，但爲簡單起見，我儘量在概述中不提到它們。本教程其它章節與它們相關的地方我會進行解釋。 

以下是Java NIO裏關鍵的Buffer實現： 
ByteBuffer 
CharBuffer 
DoubleBuffer 
FloatBuffer 
IntBuffer 
LongBuffer 
ShortBuffer 
這些Buffer覆蓋了你能通過IO發送的基本數據類型：byte, short, int, long, float, double 和 char。Java NIO 還有個 Mappedyteuffer，用於表示內存映射文件。 

Selector 
Selector允許單線程處理多個 Channel。如果你的應用打開了多個連接（通道），但每個連接的流量都很低，使用Selector就會很方便。例如，在一個聊天服務器中。 

這是在一個單線程中使用一個Selector處理3個Channel的圖示： 
 

要使用Selector，得向Selector註冊Channel，然後調用它的select()方法。這個方法會一直阻塞到某個註冊的通道有事件就緒。一旦這個方法返回，線程就可以處理這些事件，事件的例子有如新連接進來，數據接收等。

=======================================

Java NIO（二）Channel

博客分類：  nio

 

Java NIO的通道類似流，但又有些不同： 

• 既可以從通道中讀取數據，又可以寫數據到通道。但流的讀寫通常是單向的。
• 通道可以異步地讀寫。
• 通道中的數據總是要先讀到一個Buffer，或者總是要從一個Buffer中寫入。

正如上面所說，從通道讀取數據到緩衝區，從緩衝區寫入數據到通道。如下圖所示： 
 

Channel的實現 
這些是Java NIO中最重要的通道的實現： 

• FileChannel 從文件中讀寫數據。
• DatagramChannel 能通過UDP讀寫網絡中的數據。
• SocketChannel 能通過TCP讀寫網絡中的數據。
• ServerSocketChannel可以監聽新進來的TCP連接，像Web服務器那樣。對每一個新進來的連接都會創建一個SocketChannel。

基本的 Channel 示例 
下面是一個使用FileChannel讀取數據到Buffer中的示例： 

RandomAccessFile aFile = new RandomAccessFile("c:/piaohailin.txt", "rw");
FileChannel inChannel = aFile.getChannel();
ByteBuffer buf = ByteBuffer.allocate(1024);
while (inChannel.read(buf) != -1) {
    System.out.println("Read " + bytesRead);
    buf.flip();
    while (buf.hasRemaining()) {
        System.out.print((char) buf.get());
    }
    buf.clear();
}
aFile.close();

注意 buf.flip() 的調用，首先讀取數據到Buffer，然後反轉Buffer,接着再從Buffer中讀取數據。下一節會深入講解Buffer的更多細節。

======================================================

Java NIO（三）Buffer

博客分類：  nio

 

Java NIO中的Buffer用於和NIO通道進行交互。如你所知，數據是從通道讀入緩衝區，從緩衝區寫入到通道中的。緩衝區本質上是一塊可以寫入數據，然後可以從中讀取數據的內存。這塊內存被包裝成NIO Buffer對象，並提供了一組方法，用來方便的訪問該塊內存。 

Buffer的基本用法 
使用Buffer讀寫數據一般遵循以下四個步驟： 

• 寫入數據到Buffer
• 調用flip()方法
• 從Buffer中讀取數據
• 調用clear()方法或者compact()方法

當向buffer寫入數據時，buffer會記錄下寫了多少數據。一旦要讀取數據，需要通過flip()方法將Buffer從寫模式切換到讀模式。在讀模式下，可以讀取之前寫入到buffer的所有數據。 

一旦讀完了所有的數據，就需要清空緩衝區，讓它可以再次被寫入。有兩種方式能清空緩衝區：調用clear()或compact()方法。clear()方法會清空整個緩衝區。compact()方法只會清除已經讀過的數據。任何未讀的數據都被移到緩衝區的起始處，新寫入的數據將放到緩衝區未讀數據的後面。 

下面是一個使用Buffer的例子： 

RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw");
FileChannel inChannel = aFile.getChannel();

//create buffer with capacity of 48 bytes
ByteBuffer buf = ByteBuffer.allocate(48);

int bytesRead = inChannel.read(buf); //read into buffer.
while (bytesRead != -1) {

  buf.flip();  //make buffer ready for read

  while(buf.hasRemaining()){
      System.out.print((char) buf.get()); // read 1 byte at a time
  }

  buf.clear(); //make buffer ready for writing
  bytesRead = inChannel.read(buf);
}
aFile.close();

Buffer的capacity,position和limit 
緩衝區本質上是一塊可以寫入數據，然後可以從中讀取數據的內存。這塊內存被包裝成NIO Buffer對象，並提供了一組方法，用來方便的訪問該塊內存。 

爲了理解Buffer的工作原理，需要熟悉它的三個屬性： 

• capacity
• position
• limit

position和limit的含義取決於Buffer處在讀模式還是寫模式。不管Buffer處在什麼模式，capacity的含義總是一樣的。 

這裏有一個關於capacity，position和limit在讀寫模式中的說明，詳細的解釋在插圖後面。 
 

capacity 
作爲一個內存塊，Buffer有一個固定的大小值，也叫“capacity”.你只能往裏寫capacity個byte、long，char等類型。一旦Buffer滿了，需要將其清空（通過讀數據或者清除數據）才能繼續寫數據往裏寫數據。 

position 
當你寫數據到Buffer中時，position表示當前的位置。初始的position值爲0.當一個byte、long等數據寫到Buffer後， position會向前移動到下一個可插入數據的Buffer單元。position最大可爲capacity – 1. 

當讀取數據時，也是從某個特定位置讀。當將Buffer從寫模式切換到讀模式，position會被重置爲0. 當從Buffer的position處讀取數據時，position向前移動到下一個可讀的位置。 

limit 
在寫模式下，Buffer的limit表示你最多能往Buffer裏寫多少數據。 寫模式下，limit等於Buffer的capacity。 

當切換Buffer到讀模式時， limit表示你最多能讀到多少數據。因此，當切換Buffer到讀模式時，limit會被設置成寫模式下的position值。換句話說，你能讀到之前寫入的所有數據（limit被設置成已寫數據的數量，這個值在寫模式下就是position） 

Buffer的類型 
Java NIO 有以下Buffer類型 

• ByteBuffer
• MappedByteBuffer
• CharBuffer
• DoubleBuffer
• FloatBuffer
• IntBuffer
• LongBuffer
• ShortBuffer

如你所見，這些Buffer類型代表了不同的數據類型。換句話說，就是可以通過char，short，int，long，float 或 double類型來操作緩衝區中的字節。MappedByteBuffer 有些特別。 

Buffer的分配 
要想獲得一個Buffer對象首先要進行分配。 每一個Buffer類都有一個allocate方法。下面是一個分配48字節capacity的ByteBuffer的例子。 
ByteBuffer buf = ByteBuffer.allocate(48); 
這是分配一個可存儲1024個字符的CharBuffer： 
CharBuffer buf = CharBuffer.allocate(1024); 

向Buffer中寫數據 
寫數據到Buffer有兩種方式： 
從Channel寫到Buffer。 
通過Buffer的put()方法寫到Buffer裏。 
從Channel寫到Buffer的例子 
int bytesRead = inChannel.read(buf); //read into buffer. 
通過put方法寫Buffer的例子： 
buf.put(127); 
put方法有很多版本，允許你以不同的方式把數據寫入到Buffer中。例如， 寫到一個指定的位置，或者把一個字節數組寫入到Buffer。 更多Buffer實現的細節參考JavaDoc。 

flip()方法 
flip方法將Buffer從寫模式切換到讀模式。調用flip()方法會將position設回0，並將limit設置成之前position的值。 
換句話說，position現在用於標記讀的位置，limit表示之前寫進了多少個byte、char等——現在能讀取多少個byte、char等。 

從Buffer中讀取數據 
從Buffer中讀取數據有兩種方式： 
從Buffer讀取數據到Channel。 
使用get()方法從Buffer中讀取數據。 
從Buffer讀取數據到Channel的例子： 
//read from buffer into channel. 
int bytesWritten = inChannel.write(buf); 
使用get()方法從Buffer中讀取數據的例子 
byte aByte = buf.get(); 
get方法有很多版本，允許你以不同的方式從Buffer中讀取數據。例如，從指定position讀取，或者從Buffer中讀取數據到字節數組。更多Buffer實現的細節參考JavaDoc。 

rewind()方法 
Buffer.rewind()將position設回0，所以你可以重讀Buffer中的所有數據。limit保持不變，仍然表示能從Buffer中讀取多少個元素（byte、char等）。 

clear()與compact()方法 
一旦讀完Buffer中的數據，需要讓Buffer準備好再次被寫入。可以通過clear()或compact()方法來完成。 

如果調用的是clear()方法，position將被設回0，limit被設置成 capacity的值。換句話說，Buffer 被清空了。Buffer中的數據並未清除，只是這些標記告訴我們可以從哪裏開始往Buffer裏寫數據。 

如果Buffer中有一些未讀的數據，調用clear()方法，數據將“被遺忘”，意味着不再有任何標記會告訴你哪些數據被讀過，哪些還沒有。 

如果Buffer中仍有未讀的數據，且後續還需要這些數據，但是此時想要先先寫些數據，那麼使用compact()方法。 

compact()方法將所有未讀的數據拷貝到Buffer起始處。然後將position設到最後一個未讀元素正後面。limit屬性依然像clear()方法一樣，設置成capacity。現在Buffer準備好寫數據了，但是不會覆蓋未讀的數據。 

mark()與reset()方法 
通過調用Buffer.mark()方法，可以標記Buffer中的一個特定position。之後可以通過調用Buffer.reset()方法恢復到這個position。例如： 

buffer.mark();
//call buffer.get() a couple of times, e.g. during parsing.
buffer.reset();  //set position back to mark.

equals()與compareTo()方法 

可以使用equals()和compareTo()方法兩個Buffer。 

equals() 
當滿足下列條件時，表示兩個Buffer相等： 

• 有相同的類型（byte、char、int等）。
• Buffer中剩餘的byte、char等的個數相等。
• Buffer中所有剩餘的byte、char等都相同。

如你所見，equals只是比較Buffer的一部分，不是每一個在它裏面的元素都比較。實際上，它只比較Buffer中的剩餘元素。 

compareTo()方法 
compareTo()方法比較兩個Buffer的剩餘元素(byte、char等)， 如果滿足下列條件，則認爲一個Buffer“小於”另一個Buffer： 
第一個不相等的元素小於另一個Buffer中對應的元素 。 
所有元素都相等，但第一個Buffer比另一個先耗盡(第一個Buffer的元素個數比另一個少)。 
（譯註：剩餘元素是從 position到limit之間的元素）

=================================================

Java NIO（四）Scatter/Gather

博客分類：  nio

 

Java NIO開始支持scatter/gather，scatter/gather用於描述從Channel中讀取或者寫入到Channel的操作。 

分散（scatter）從Channel中讀取是指在讀操作時將讀取的數據寫入多個buffer中。因此，Channel將從Channel中讀取的數據“分散（scatter）”到多個Buffer中。 

聚集（gather）寫入Channel是指在寫操作時將多個buffer的數據寫入同一個Channel，因此，Channel 將多個Buffer中的數據“聚集（gather）”後發送到Channel。 

scatter / gather經常用於需要將傳輸的數據分開處理的場合，例如傳輸一個由消息頭和消息體組成的消息，你可能會將消息體和消息頭分散到不同的buffer中，這樣你可以方便的處理消息頭和消息體。 

Scattering Reads 
Scattering Reads是指數據從一個channel讀取到多個buffer中。如下圖描述： 
 
代碼示例如下： 

ByteBuffer header = ByteBuffer.allocate(128);
ByteBuffer body   = ByteBuffer.allocate(1024);
ByteBuffer[] bufferArray = { header, body };
channel.read(bufferArray);

注意buffer首先被插入到數組，然後再將數組作爲channel.read() 的輸入參數。read()方法按照buffer在數組中的順序將從channel中讀取的數據寫入到buffer，當一個buffer被寫滿後，channel緊接着向另一個buffer中寫。 

Scattering Reads在移動下一個buffer前，必須填滿當前的buffer，這也意味着它不適用於動態消息(譯者注：消息大小不固定)。換句話說，如果存在消息頭和消息體，消息頭必須完成填充（例如 128byte），Scattering Reads才能正常工作。 

Gathering Writes 

Gathering Writes是指數據從多個buffer寫入到同一個channel。如下圖描述： 
 
代碼示例如下： 

ByteBuffer header = ByteBuffer.allocate(128);
ByteBuffer body   = ByteBuffer.allocate(1024);
//write data into buffers
ByteBuffer[] bufferArray = { header, body };
channel.write(bufferArray);

buffers數組是write()方法的入參，write()方法會按照buffer在數組中的順序，將數據寫入到channel，注意只有position和limit之間的數據纔會被寫入。因此，如果一個buffer的容量爲128byte，但是僅僅包含58byte的數據，那麼這58byte的數據將被寫入到channel中。因此與Scattering Reads相反，Gathering Writes能較好的處理動態消息。

===============================================================

Java NIO（五）通道之間的數據傳輸

博客分類：  nio

 

在Java NIO中，如果兩個通道中有一個是FileChannel，那你可以直接將數據從一個channel傳輸到另外一個channel。 

transferFrom() 
FileChannel的transferFrom()方法可以將數據從源通道傳輸到FileChannel中（譯者注：這個方法在JDK文檔中的解釋爲將字節從給定的可讀取字節通道傳輸到此通道的文件中）。下面是一個簡單的例子： 

RandomAccessFile fromFile = new RandomAccessFile("fromFile.txt", "rw");
FileChannel      fromChannel = fromFile.getChannel();
RandomAccessFile toFile = new RandomAccessFile("toFile.txt", "rw");
FileChannel      toChannel = toFile.getChannel();
long position = 0;
long count = fromChannel.size();
toChannel.transferFrom(position, count, fromChannel);

方法的輸入參數position表示從position處開始向目標文件寫入數據，count表示最多傳輸的字節數。如果源通道的剩餘空間小於 count 個字節，則所傳輸的字節數要小於請求的字節數。 
此外要注意，在SoketChannel的實現中，SocketChannel只會傳輸此刻準備好的數據（可能不足count字節）。因此，SocketChannel可能不會將請求的所有數據(count個字節)全部傳輸到FileChannel中。 

transferTo() 
transferTo()方法將數據從FileChannel傳輸到其他的channel中。下面是一個簡單的例子： 

RandomAccessFile fromFile = new RandomAccessFile("fromFile.txt", "rw");
FileChannel      fromChannel = fromFile.getChannel();
RandomAccessFile toFile = new RandomAccessFile("toFile.txt", "rw");
FileChannel      toChannel = toFile.getChannel();
long position = 0;
long count = fromChannel.size();
fromChannel.transferTo(position, count, toChannel);

是不是發現這個例子和前面那個例子特別相似？除了調用方法的FileChannel對象不一樣外，其他的都一樣。 
上面所說的關於SocketChannel的問題在transferTo()方法中同樣存在。SocketChannel會一直傳輸數據直到目標buffer被填滿。