java之HeapByteBuffer&DirectByteBuffer以及回收DirectByteBuffer

byte buffer一般在網絡交互過程中Java使用得比較多,尤其是以NIO的框架中;

看名字就知道是以字節碼作爲緩衝的,先buffer一段,然後flush到終端。

而本文要說的一個重點就是HeapByteBuffer與DirectByteBuffer,以及如何合理使用DirectByteBuffer。


1、HeapByteBufferDirectByteBuffer,在原理上,前者可以看出分配的buffer是在heap區域的,其實真正flush到遠程的時候會先拷貝得到直接內存,再做下一步操作(考慮細節還會到OS級別的內核區直接內存),其實發送靜態文件最快速的方法是通過OS級別的send_file,只會經過OS一個內核拷貝,而不會來回拷貝;在NIO的框架下,很多框架會採用DirectByteBuffer來操作,這樣分配的內存不再是在java heap上,而是在C heap上,經過性能測試,可以得到非常快速的網絡交互,在大量的網絡交互下,一般速度會比HeapByteBuffer要快速好幾倍。

最基本的情況下

分配HeapByteBuffer的方法是:

[java] view plain copy
  1. ByteBuffer.allocate(int capacity);參數大小爲字節的數量  

分配DirectByteBuffer的方法是:

[java] view plain copy
  1. ByteBuffer.allocateDirect(int capacity);//可以看到分配內存是通過unsafe.allocateMemory()來實現的,這個unsafe默認情況下java代碼是沒有能力可以調用到的,不過你可以通過反射的手段得到實例進而做操作,當然你需要保證的是程序的穩定性,既然叫unsafe的,就是告訴你這不是安全的,其實並不是不安全,而是交給程序員來操作,它可能會因爲程序員的能力而導致不安全,而並非它本身不安全。  

由於HeapByteBufferDirectByteBuffer類都是default類型的,所以你無法字節訪問到,你只能通過ByteBuffer間接訪問到它,因爲JVM不想讓你訪問到它,對了,JVM不想讓你訪問到它肯定就有它不可告人的祕密;後面我們來跟蹤下他的祕密吧。


2、前面說到了,這塊區域不是在Java heap上,那麼這塊內存的大小是多少呢?默認是一般是64M,可以通過參數:-XX:MaxDirectMemorySize來控制,你夠牛的話,還可以用代碼控制,呵呵,這裏就不多說了。


3、直接內存好,我們爲啥不都用直接內存?請注意,這個直接內存的釋放並不是由你控制的,而是由full gc來控制的,直接內存會自己檢測情況而調用system.gc(),但是如果參數中使用了DisableExplicitGC 那麼這是個坑了,所以啊,這玩意,設置不設置都是一個坑坑,所以java的優化有沒有絕對的,只有針對實際情況的,針對實際情況需要對系統做一些拆分做不同的優化。


4、那麼full gc不觸發,我想自己釋放這部分內存有方法嗎?可以的,在這裏沒有什麼是不可以的,呵呵!私有屬性我們都任意玩他,還有什麼不可以玩的;我們看看它的源碼中DirectByteBuffer發現有一個:Cleaner,貌似是用來搞資源回收的,經過查證,的確是,而且又看到這個對象是sun.misc開頭的了,此時既驚喜又鬱悶,呵呵,只要我能拿到它,我就能有希望消滅掉了;下面第五步我們來做個試驗。


5、因爲我們的代碼全是私有的,所以我要訪問它不能直接訪問,我需要通過反射來實現,OK,我知道要調用cleaner()方法來獲取它Cleaner對象,進而通過該對象,執行clean方法;(付:以下代碼大部分也取自網絡上的一篇copy無數次的代碼,但是那個代碼是有問題的,有問題的部分,我將用紅色標識出來,如果沒有哪條代碼是無法運行的

[java] view plain copy
  1. import java.nio.ByteBuffer;  
  2. import sun.nio.ch.DirectBuffer;  
  3.   
  4. public class DirectByteBufferCleaner {  
  5.   
  6.         public static void clean(final ByteBuffer byteBuffer) {  
  7.               if (byteBuffer.isDirect()) {  
  8.                  ((DirectBuffer)byteBuffer).cleaner().clean();  
  9.               }  
  10.         }  
  11. }  

上述類你可以在任何位置建立都可以,這裏多謝一樓的回覆,以前我的寫法是見到DirectByteBuffer類是Default類型的,因此這個類無法直接引用到,是通過反射去找到cleaner的實例,進而調用內部的clean方法,那樣做麻煩了,其實並不需要那麼麻煩,因爲DirectByteBuffer implements了DirectBuffer,而DirectBuffer本身是public的,所以通過接口去調用內部的Clear對象來做clean方法。


我們下面來做測試來證明這個程序是有效地回收的:

在任意一個地方寫一段main方法來調用,我這裏就直接寫在這個類裏面了:

[java] view plain copy
  1. public static void sleep(long i) {  
  2.     try {  
  3.           Thread.sleep(i);  
  4.      }catch(Exception e) {  
  5.           /*skip*/  
  6.      }  
  7. }  
  8. public static void main(String []args) throws Exception {  
  9.        ByteBuffer buffer = ByteBuffer.allocateDirect(1024 * 1024 * 100);  
  10.        System.out.println("start");  
  11.        sleep(10000);  
  12.        clean(buffer);  
  13.        System.out.println("end");  
  14.        sleep(10000);  
  15. }  



這裏分配了100M內存,爲了將結果看清楚,在執行前,執行後分別看看延遲10s,當然你可以根據你的要求自己改改。請提前將OS的資源管理器打開,看看當前使用的內存是多少,如果你是Linux當然是看看free或者用top等命令來看;本地程序我是用windows完成,在運行前機器的內存如下圖所示:



開始運行在輸入start後,但是未輸出end前,內存直接上升將近100m。



在輸入end後發現內存立即降低到2.47m,說明回收是有效的。



此時可以觀察JVM堆的內存,不會有太多的變化,注意:JVM本身啓動後也有一些內存開銷,所以不要將那個開銷和這個綁定在一起;這裏之所以一次性申請100m也是爲了看清楚過程,其餘的可以做實驗玩玩了。

發佈了19 篇原創文章 · 獲贊 9 · 訪問量 9萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章