JVM性能調優

JVM會根據機器的硬件配置對每個內存代選擇適合的回收算法,比如,如果機器多於1個核,會對年輕代選擇並行算法,關於選擇細節請參考JVM調優文檔。

  稍微解釋下的是,並行算法是用多線程進行垃圾回收,回收期間會暫停程序的執行,而併發算法,也是多線程回收,但期間不停止應用執行。所以,併發算法適用於交互性高的一些程序。經過觀察,併發算法會減少年輕代的大小,其實就是使用了一個大的年老代,這反過來跟並行算法相比吞吐量相對較低。

  還有一個問題是,垃圾回收動作何時執行?

  • 當年輕代內存滿時,會引發一次普通GC,該GC僅回收年輕代。需要強調的時,年輕代滿是指Eden代滿,Survivor滿不會引發GC
  • 當年老代滿時會引發Full GC,Full GC將會同時回收年輕代、年老代
  • 當永久代滿時也會引發Full GC,會導致Class、Method元信息的卸載

  另一個問題是,何時會拋出OutOfMemoryException,並不是內存被耗空的時候才拋出

  • JVM98%的時間都花費在內存回收
  • 每次回收的內存小於2%

  滿足這兩個條件將觸發OutOfMemoryException,這將會留給系統一個微小的間隙以做一些Down之前的操作,比如手動打印Heap Dump。

二、內存泄漏及解決方法

1.系統崩潰前的一些現象:

  • 每次垃圾回收的時間越來越長,由之前的10ms延長到50ms左右,FullGC的時間也有之前的0.5s延長到4、5s
  • FullGC的次數越來越多,最頻繁時隔不到1分鐘就進行一次FullGC
  • 年老代的內存越來越大並且每次FullGC後年老代沒有內存被釋放

之後系統會無法響應新的請求,逐漸到達OutOfMemoryError的臨界值。

2.生成堆的dump文件

通過JMX的MBean生成當前的Heap信息,大小爲一個3G(整個堆的大小)的hprof文件,如果沒有啓動JMX可以通過Java的jmap命令來生成該文件。

3.分析dump文件

下面要考慮的是如何打開這個3G的堆信息文件,顯然一般的Window系統沒有這麼大的內存,必須藉助高配置的Linux。當然我們可以藉助X-Window把Linux上的圖形導入到Window。我們考慮用下面幾種工具打開該文件:

  1. Visual VM
  2. IBM HeapAnalyzer
  3. JDK 自帶的Hprof工具

使用這些工具時爲了確保加載速度,建議設置最大內存爲6G。使用後發現,這些工具都無法直觀地觀察到內存泄漏,Visual VM雖能觀察到對象大小,但看不到調用堆棧;HeapAnalyzer雖然能看到調用堆棧,卻無法正確打開一個3G的文件。因此,我們又選用了Eclipse專門的靜態內存分析工具:Mat。

4.分析內存泄漏

通過Mat我們能清楚地看到,哪些對象被懷疑爲內存泄漏,哪些對象佔的空間最大及對象的調用關係。針對本案,在ThreadLocal中有很多的JbpmContext實例,經過調查是JBPM的Context沒有關閉所致。

另,通過Mat或JMX我們還可以分析線程狀態,可以觀察到線程被阻塞在哪個對象上,從而判斷系統的瓶頸。

5.迴歸問題

   Q:爲什麼崩潰前垃圾回收的時間越來越長?

   A:根據內存模型和垃圾回收算法,垃圾回收分兩部分:內存標記、清除(複製),標記部分只要內存大小固定時間是不變的,變的是複製部分,因爲每次垃圾回收都有一些回收不掉的內存,所以增加了複製量,導致時間延長。所以,垃圾回收的時間也可以作爲判斷內存泄漏的依據

   Q:爲什麼Full GC的次數越來越多?

   A:因此內存的積累,逐漸耗盡了年老代的內存,導致新對象分配沒有更多的空間,從而導致頻繁的垃圾回收

   Q:爲什麼年老代佔用的內存越來越大?

   A:因爲年輕代的內存無法被回收,越來越多地被Copy到年老代

三、性能調優

除了上述內存泄漏外,我們還發現CPU長期不足3%,系統吞吐量不夠,針對8core×16G、64bit的Linux服務器來說,是嚴重的資源浪費。

在CPU負載不足的同時,偶爾會有用戶反映請求的時間過長,我們意識到必須對程序及JVM進行調優。從以下幾個方面進行:

  • 線程池:解決用戶響應時間長的問題
  • 連接池
  • JVM啓動參數:調整各代的內存比例和垃圾回收算法,提高吞吐量
  • 程序算法:改進程序邏輯算法提高性能

1.Java線程池(java.util.concurrent.ThreadPoolExecutor)

    大多數JVM6上的應用採用的線程池都是JDK自帶的線程池,之所以把成熟的Java線程池進行羅嗦說明,是因爲該線程池的行爲與我們想象的有點出入。Java線程池有幾個重要的配置參數:

  • corePoolSize:核心線程數(最新線程數)
  • maximumPoolSize:最大線程數,超過這個數量的任務會被拒絕,用戶可以通過RejectedExecutionHandler接口自定義處理方式
  • keepAliveTime:線程保持活動的時間
  • workQueue:工作隊列,存放執行的任務

    Java線程池需要傳入一個Queue參數(workQueue)用來存放執行的任務,而對Queue的不同選擇,線程池有完全不同的行爲:

  • SynchronousQueue:一個無容量的等待隊列,一個線程的insert操作必須等待另一線程的remove操作,採用這個Queue線程池將會爲每個任務分配一個新線程
  • LinkedBlockingQueue無界隊列,採用該Queue,線程池將忽略maximumPoolSize參數,僅用corePoolSize的線程處理所有的任務,未處理的任務便在LinkedBlockingQueue中排隊
  • ArrayBlockingQueue:有界隊列,在有界隊列和maximumPoolSize的作用下,程序將很難被調優:更大的Queue和小的maximumPoolSize將導致CPU的低負載;小的Queue和大的池,Queue就沒起動應有的作用。

    其實我們的要求很簡單,希望線程池能跟連接池一樣,能設置最小線程數、最大線程數,當最小數<任務<最大數時,應該分配新的線程處理;當任務>最大數時,應該等待有空閒線程再處理該任務。

    但線程池的設計思路是,任務應該放到Queue中,當Queue放不下時再考慮用新線程處理,如果Queue滿且無法派生新線程,就拒絕該任務。設計導致“先放等執行”、“放不下再執行”、“拒絕不等待”。所以,根據不同的Queue參數,要提高吞吐量不能一味地增大maximumPoolSize。

    當然,要達到我們的目標,必須對線程池進行一定的封裝,幸運的是ThreadPoolExecutor中留了足夠的自定義接口以幫助我們達到目標。我們封裝的方式是:

  • 以SynchronousQueue作爲參數,使maximumPoolSize發揮作用,以防止線程被無限制的分配,同時可以通過提高maximumPoolSize來提高系統吞吐量
  • 自定義一個RejectedExecutionHandler,當線程數超過maximumPoolSize時進行處理,處理方式爲隔一段時間檢查線程池是否可以執行新Task,如果可以把拒絕的Task重新放入到線程池,檢查的時間依賴keepAliveTime的大小。

  2.連接池(org.apache.commons.dbcp.BasicDataSource)

    在使用org.apache.commons.dbcp.BasicDataSource的時候,因爲之前採用了默認配置,所以當訪問量大時,通過JMX觀察到很多Tomcat線程都阻塞在BasicDataSource使用的Apache ObjectPool的鎖上,直接原因當時是因爲BasicDataSource連接池的最大連接數設置的太小,默認的BasicDataSource配置,僅使用8個最大連接。

    我還觀察到一個問題,當較長的時間不訪問系統,比如2天,DB上的Mysql會斷掉所以的連接,導致連接池中緩存的連接不能用。爲了解決這些問題,我們充分研究了BasicDataSource,發現了一些優化的點:

  • Mysql默認支持100個鏈接,所以每個連接池的配置要根據集羣中的機器數進行,如有2臺服務器,可每個設置爲60
  • initialSize:參數是一直打開的連接數
  • minEvictableIdleTimeMillis:該參數設置每個連接的空閒時間,超過這個時間連接將被關閉
  • timeBetweenEvictionRunsMillis:後臺線程的運行週期,用來檢測過期連接
  • maxActive:最大能分配的連接數
  • maxIdle:最大空閒數,當連接使用完畢後發現連接數大於maxIdle,連接將被直接關閉。只有initialSize < x < maxIdle的連接將被定期檢測是否超期。這個參數主要用來在峯值訪問時提高吞吐量。
  • initialSize是如何保持的?經過研究代碼發現,BasicDataSource會關閉所有超期的連接,然後再打開initialSize數量的連接,這個特性與minEvictableIdleTimeMillis、timeBetweenEvictionRunsMillis一起保證了所有超期的initialSize連接都會被重新連接,從而避免了Mysql長時間無動作會斷掉連接的問題。

  3.JVM參數

    在JVM啓動參數中,可以設置跟內存、垃圾回收相關的一些參數設置,默認情況不做任何設置JVM會工作的很好,但對一些配置很好的Server和具體的應用必須仔細調優才能獲得最佳性能。通過設置我們希望達到一些目標:

  • GC的時間足夠的小
  • GC的次數足夠的少
  • 發生Full GC的週期足夠的長

  前兩個目前是相悖的,要想GC時間小必須要一個更小的堆,要保證GC次數足夠少,必須保證一個更大的堆,我們只能取其平衡。

   (1)針對JVM堆的設置一般,可以通過-Xms -Xmx限定其最小、最大值,爲了防止垃圾收集器在最小、最大之間收縮堆而產生額外的時間,我們通常把最大、最小設置爲相同的值
   (2)年輕代和年老代將根據默認的比例(1:2)分配堆內存,可以通過調整二者之間的比率NewRadio來調整二者之間的大小,也可以針對回收代,比如年輕代,通過 -XX:newSize -XX:MaxNewSize來設置其絕對大小。同樣,爲了防止年輕代的堆收縮,我們通常會把-XX:newSize -XX:MaxNewSize設置爲同樣大小

   (3)年輕代和年老代設置多大才算合理?這個我問題毫無疑問是沒有答案的,否則也就不會有調優。我們觀察一下二者大小變化有哪些影響

  • 更大的年輕代必然導致更小的年老代,大的年輕代會延長普通GC的週期,但會增加每次GC的時間;小的年老代會導致更頻繁的Full GC
  • 更小的年輕代必然導致更大年老代,小的年輕代會導致普通GC很頻繁,但每次的GC時間會更短;大的年老代會減少Full GC的頻率
  • 如何選擇應該依賴應用程序對象生命週期的分佈情況:如果應用存在大量的臨時對象,應該選擇更大的年輕代;如果存在相對較多的持久對象,年老代應該適當增大。但很多應用都沒有這樣明顯的特性,在抉擇時應該根據以下兩點:(A)本着Full GC儘量少的原則,讓年老代儘量緩存常用對象,JVM的默認比例1:2也是這個道理 (B)通過觀察應用一段時間,看其他在峯值時年老代會佔多少內存,在不影響Full GC的前提下,根據實際情況加大年輕代,比如可以把比例控制在1:1。但應該給年老代至少預留1/3的增長空間

  (4)在配置較好的機器上(比如多核、大內存),可以爲年老代選擇並行收集算法: -XX:+UseParallelOldGC,默認爲Serial收集

  (5)線程堆棧的設置:每個線程默認會開啓1M的堆棧,用於存放棧幀、調用參數、局部變量等,對大多數應用而言這個默認值太了,一般256K就足用。理論上,在內存不變的情況下,減少每個線程的堆棧,可以產生更多的線程,但這實際上還受限於操作系統。

  (4)可以通過下面的參數打Heap Dump信息

  • -XX:HeapDumpPath
  • -XX:+PrintGCDetails
  • -XX:+PrintGCTimeStamps
  • -Xloggc:/usr/aaa/dump/heap_trace.txt

    通過下面參數可以控制OutOfMemoryError時打印堆的信息

  • -XX:+HeapDumpOnOutOfMemoryError

請看一下一個時間的Java參數配置:(服務器:Linux 64Bit,8Core×16G)

JAVA_OPTS="$JAVA_OPTS -server -Xms3G -Xmx3G -Xss256k -XX:PermSize=128m -XX:MaxPermSize=128m -XX:+UseParallelOldGC -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/usr/aaa/dump -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/usr/aaa/dump/heap_trace.txt -XX:NewSize=1G -XX:MaxNewSize=1G"

經過觀察該配置非常穩定,每次普通GC的時間在10ms左右,Full GC基本不發生,或隔很長很長的時間才發生一次

通過分析dump文件可以發現,每個1小時都會發生一次Full GC,經過多方求證,只要在JVM中開啓了JMX服務,JMX將會1小時執行一次Full GC以清除引用,關於這點請參考附件文檔。

4.程序算法調優:本次不作爲重點

參考資料:

http://java.sun.com/javase/technologies/hotspot/gc/gc_tuning_6.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章