Android GC原理探究(深度好文)

相信大家都遇到過手機圖片滑動卡頓問題,由於不斷的GC導致的丟幀卡頓的問題讓我們想了很多方案去解決,所以就打算詳細的看看內存分配和GC的原理,爲什麼會不斷的GC,GC ALLOC和GC COCURRENT有什麼區別,能不能想辦法擴大堆內存減少GC的頻次等等。

1、JVM內存回收機制

1.1 回收算法

  • 標記回收算法(Mark and Sweep GC)

從"GC Roots"集合開始,將內存整個遍歷一次,保留所有可以被GC Roots直接或間接引用到的對象,而剩下的對象都當作垃圾對待並回收,這個算法需要中斷進程內其它組件的執行並且可能產生內存碎片

  • 複製算法 (Copying)

將現有的內存空間分爲兩快,每次只使用其中一塊,在垃圾回收時將正在使用的內存中的存活對象複製到未被使用的內存塊中,之後,清除正在使用的內存塊中的所有對象,交換兩個內存的角色,完成垃圾回收。

  • 標記-壓縮算法 (Mark-Compact)

先需要從根節點開始對所有可達對象做一次標記,但之後,它並不簡單地清理未標記的對象,而是將所有的存活對象壓縮到內存的一端。之後,清理邊界外所有的空間。這種方法既避免了碎片的產生,又不需要兩塊相同的內存空間,因此,其性價比比較高。

  • 分代

將所有的新建對象都放入稱爲年輕代的內存區域,年輕代的特點是對象會很快回收,因此,在年輕代就選擇效率較高的複製算法。當一個對象經過幾次回收後依然存活,對象就會被放入稱爲老生代的內存空間。對於新生代適用於複製算法,而對於老年代則採取標記-壓縮算法。

1.2 複製和標記-壓縮算法的區別

乍一看這兩個算法似乎並沒有多大的區別,都是標記了然後挪到另外的內存地址進行回收,那爲什麼不同的分代要使用不同的回收算法呢?

其實2者最大的區別在於前者是用空間換時間後者則是用時間換空間。

前者的在工作的時候是不沒有獨立的“mark”與“copy”階段的,而是合在一起做一個動作,就叫scavenge(或evacuate,或者就叫copy)。也就是說,每發現一個這次收集中尚未訪問過的活對象就直接copy到新地方,同時設置forwarding pointer。這樣的工作方式就需要多一份空間。

後者在工作的時候則需要分別的mark與compact階段,mark階段用來發現並標記所有活的對象,然後compact階段才移動對象來達到compact的目的。如果compact方式是sliding compaction,則在mark之後就可以按順序一個個對象“滑動”到空間的某一側。因爲已經先遍歷了整個空間裏的對象圖,知道所有的活對象了,所以移動的時候就可以在同一個空間內而不需要多一份空間。

所以新生代的回收會更快一點,老年代的回收則會需要更長時間,同時壓縮階段是會暫停應用的,所以給我們應該儘量避免對象出現在老年代。

2、Dalvik虛擬機

2.1 java堆

Java堆實際上是由一個Active堆和一個Zygote堆組成的,其中,Zygote堆用來管理Zygote進程在啓動過程中預加載和創建的各種對象,而Active堆是在Zygote進程fork第一個子進程之前創建的。以後啓動的所有應用程序進程是被Zygote進程fork出來的,並都持有一個自己的Dalvik虛擬機。在創建應用程序的過程中,Dalvik虛擬機採用COW策略複製Zygote進程的地址空間。

COW策略:一開始的時候(未複製Zygote進程的地址空間的時候),應用程序進程和Zygote進程共享了同一個用來分配對象的堆。當Zygote進程或者應用程序進程對該堆進行寫操作時,內核就會執行真正的拷貝操作,使得Zygote進程和應用程序進程分別擁有自己的一份拷貝,這就是所謂的COW。因爲copy是十分耗時的,所以必須儘量避免copy或者儘量少的copy。

爲了實現這個目的,當創建第一個應用程序進程時,會將已經使用了的那部分堆內存劃分爲一部分,還沒有使用的堆內存劃分爲另外一部分。前者就稱爲Zygote堆,後者就稱爲Active堆。這樣只需把zygote堆中的內容複製給應用程序進程就可以了。以後無論是Zygote進程,還是應用程序進程,當它們需要分配對象的時候,都在Active堆上進行。這樣就可以使得Zygote堆儘可能少地被執行寫操作,因而就可以減少執行寫時拷貝的操作。在Zygote堆裏面分配的對象其實主要就是Zygote進程在啓動過程中預加載的類、資源和對象了。這意味着這些預加載的類、資源和對象可以在Zygote進程和應用程序進程中做到長期共享。這樣既能減少拷貝操作,還能減少對內存的需求。

2.2 和GC有關的一些指標

記得我們之前在優化魅族某手機的gc卡頓問題時,發現他很容易觸發GC_FOR_MALLOC,這個GC類別後續會說到,是分配對象內存不足時導致的。可是我們又設置了很大的堆Size爲什麼還會內存不夠呢,這裏需要了解以下幾個概念:分別是Java堆的起始大小(Starting Size)、最大值(Maximum Size)和增長上限值(Growth Limit)。

在啓動Dalvik虛擬機的時候,我們可以分別通過-Xms、-Xmx和-XX:HeapGrowthLimit三個選項來指定上述三個值,以上三個值分別表示表示

Starting Size : Dalvik虛擬機啓動的時候,會先分配一塊初始的堆內存給虛擬機使用。

Growth Limit:是系統給每一個程序的最大堆上限,超過這個上限,程序就會OOM

Maximum Size:不受控情況下的最大堆內存大小,起始就是我們在用largeheap屬性的時候,可以從系統獲取的最大堆大小

同時除了上面的這個三個指標外,還有幾個指標也是值得我們關注的,那就是堆最小空閒值(Min Free)、堆最大空閒值(Max Free)和堆目標利用率(Target Utilization)。假設在某一次GC之後,存活對象佔用內存的大小爲LiveSize,那麼這時候堆的理想大小應該爲(LiveSize / U)。但是(LiveSize / U)必須大於等於(LiveSize + MinFree)並且小於等於(LiveSize + MaxFree),每次GC後垃圾回收器都會盡量讓堆的利用率往目標利用率靠攏。所以當我們嘗試手動去生成一些幾百K的對象,試圖去擴大可用堆大小的時候,反而會導致頻繁的GC,因爲這些對象的分配會導致GC,而GC後會讓堆內存回到合適的比例,而我們使用的局部變量很快會被回收理論上存活對象還是那麼多,我們的堆大小也會縮減回來無法達到擴充的目的。 與此同時這也是產生CONCURRENT GC的一個因素,後文我們會詳細講到。

2.3 GC的類型

  • GC_FOR_MALLOC: 表示是在堆上分配對象時內存不足觸發的GC。
  • GC_CONCURRENT: 當我們應用程序的堆內存達到一定量,或者可以理解爲快要滿的時候,系統會自動觸發GC操作來釋放內存。
  • GC_EXPLICIT: 表示是應用程序調用System.gc、VMRuntime.gc接口或者收到SIGUSR1信號時觸發的GC。
  • GC_BEFORE_OOM: 表示是在準備拋OOM異常之前進行的最後努力而觸發的GC。

實際上,GC_FOR_MALLOC、GC_CONCURRENT和GC_BEFORE_OOM三種類型的GC都是在分配對象的過程觸發的。而併發和非併發GC的區別主要在於前者在GC過程中,有條件地掛起和喚醒非GC線程,而後者在執行GC的過程中,一直都是掛起非GC線程的。並行GC通過有條件地掛起和喚醒非GC線程,就可以使得應用程序獲得更好的響應性。但是同時並行GC需要多執行一次標記根集對象以及遞歸標記那些在GC過程被訪問了的對象的操作,所以也需要花費更多的CPU資源。後文在Art的併發和非併發GC中我們也會着重說明下這兩者的區別。

2.4 對象的分配和GC觸發時機

1. 調用函數dvmHeapSourceAlloc在Java堆上分配指定大小的內存。如果分配成功,那麼就將分配得到的地址直接返回給調用者了。函數dvmHeapSourceAlloc在不改變Java堆當前大小的前提下進行內存分配,這是屬於輕量級的內存分配動作。

2. 如果上一步內存分配失敗,這時候就需要執行一次GC了。不過如果GC線程已經在運行中,即gDvm.gcHeap->gcRunning的值等於true,那麼就直接調用函數dvmWaitForConcurrentGcToComplete等到GC執行完成就是了。否則的話,就需要調用函數gcForMalloc來執行一次GC了,參數false表示不要回收軟引用對象引用的對象。

3. GC執行完畢後,再次調用函數dvmHeapSourceAlloc嘗試輕量級的內存分配操作。如果分配成功,那麼就將分配得到的地址直接返回給調用者了。

4. 如果上一步內存分配失敗,這時候就得考慮先將Java堆的當前大小設置爲Dalvik虛擬機啓動時指定的Java堆最大值,再進行內存分配了。這是通過調用函數dvmHeapSourceAllocAndGrow來實現的。

5. 如果調用函數dvmHeapSourceAllocAndGrow分配內存成功,則直接將分配得到的地址直接返回給調用者了。

6. 如果上一步內存分配還是失敗,這時候就得出狠招了。再次調用函數gcForMalloc來執行GC。參數true表示要回收軟引用對象引用的對象。

7. GC執行完畢,再次調用函數dvmHeapSourceAllocAndGrow進行內存分配。這是最後一次努力了,成功與事都到此爲止。

示例圖如下:

通過這個流程可以看到,在對象的分配中會導致GC,第一次分配對象失敗我們會觸發GC但是不回收Soft的引用,如果再次分配還是失敗我們就會將Soft的內存也給回收,前者觸發的GC是GC_FOR_MALLOC類型的GC,後者是GC_BEFORE_OOM類型的GC。而當內存分配成功後,我們會判斷當前的內存佔用是否是達到了GC_CONCURRENT的閥值,如果達到了那麼又會觸發GC_CONCURRENT。

那麼這個閥值又是如何來的呢,上面我們說到的一個目標利用率,GC後我們會記錄一個目標值,這個值理論上需要再上述的範圍之內,如果不在我們會選取邊界值做爲目標值。虛擬機會記錄這個目標值,當做當前允許總的可以分配到的內存。同時根據目標值減去固定值(200~500K),當做觸發GC_CONCURRENT事件的閾值。

2.5 回收算法和內存碎片

主流的大部分Davik採取的都是標註與清理(Mark and Sweep)回收算法,也有實現了拷貝GC的,這一點和HotSpot是不一樣的,具體使用什麼算法是在編譯期決定的,無法在運行的時候動態更換。如果在編譯dalvik虛擬機的命令中指明瞭"WITH_COPYING_GC"選項,則編譯"/dalvik/vm/alloc/Copying.cpp"源碼 – 此是Android中拷貝GC算法的實現,否則編譯"/dalvik/vm/alloc/HeapSource.cpp" – 其實現了標註與清理GC算法。

由於Mark and Sweep算法的缺點,容易導致內存碎片,所以在這個算法下,當我們有大量不連續小內存的時候,再分配一個較大對象時,還是會非常容易導致GC,比如我們在該手機上decode圖片,具體情況如下:

所以對於Dalvik虛擬機的手機來說,我們首先要儘量避免掉頻繁生成很多臨時小變量(比如說:getView,onDraw等函數),另一個又要儘量去避免產生很多長生命週期的大對象。

3、ART內存回收機制

3.1 Java堆

ART運行時內部使用的Java堆的主要組成包括Image Space、Zygote Space、Allocation Space和Large Object Space四個Space,Image Space用來存在一些預加載的類, Zygote Space和Allocation Space與Dalvik虛擬機垃圾收集機制中的Zygote堆和Active堆的作用是一樣的,

Large Object Space就是一些離散地址的集合,用來分配一些大對象從而提高了GC的管理效率和整體性能,類似如下圖:

在下文的GC Log中,我們也能看到在art的GC Log中包含了LOS的信息,方便我們查看大內存的情況。

3.2 GC的類型

  • kGcCauseForAlloc ,當要分配內存的時候發現內存不夠的情況下引起的GC,這種情況下的GC會stop world
  • kGcCauseBackground,當內存達到一定的閥值的時候會去出發GC,這個時候是一個後臺gc,不會引起stop world
  • kGcCauseExplicit,顯示調用的時候進行的gc,如果art打開了這個選項的情況下,在system.gc的時候會進行gc
  • 其他更多

3.3 對象的分配和GC觸發時機

由於Art下內存分配和Dalvik下基本沒有任何區別,我直接貼圖帶過了。

3.4 併發和非併發GC

Art在GC上不像Dalvik僅有一種回收算法,Art在不同的情況下會選擇不同的回收算法,比如Alloc內存不夠的時候會採用非併發GC,而在Alloc後發現內存達到一定閥值的時候又會觸發併發GC。同時在前後臺的情況下GC策略也不盡相同,後面我們會一一給大家說明。

  • 非併發GC

步驟1. 調用子類實現的成員函數InitializePhase執行GC初始化階段。

步驟2. 掛起所有的ART運行時線程。

步驟3. 調用子類實現的成員函數MarkingPhase執行GC標記階段。

步驟4. 調用子類實現的成員函數ReclaimPhase執行GC回收階段。

步驟5. 恢復第2步掛起的ART運行時線程。

步驟6. 調用子類實現的成員函數FinishPhase執行GC結束階段。

  • 併發GC

步驟1. 調用子類實現的成員函數InitializePhase執行GC初始化階段。

步驟2. 獲取用於訪問Java堆的鎖。

步驟3. 調用子類實現的成員函數MarkingPhase執行GC並行標記階段。

步驟4. 釋放用於訪問Java堆的鎖。

步驟5. 掛起所有的ART運行時線程。

步驟6. 調用子類實現的成員函數HandleDirtyObjectsPhase處理在GC並行標記階段被修改的對象。。

步驟7. 恢復第4步掛起的ART運行時線程。

步驟8. 重複第5到第7步,直到所有在GC並行階段被修改的對象都處理完成。

步驟9. 獲取用於訪問Java堆的鎖。

步驟10. 調用子類實現的成員函數ReclaimPhase執行GC回收階段。

步驟11. 釋放用於訪問Java堆的鎖。

步驟12. 調用子類實現的成員函數FinishPhase執行GC結束階段。

所以不論是併發還是非併發,都會引起stopworld的情況出現,併發的情況下單次stopworld的時間會更短,基本區別和。

3.5 Art併發和Dalvik併發GC的差異

首先可以通過如下2張圖來對比下

Dalvik GC:

Art GC

Art的併發GC和Dalvik的併發GC有什麼區別呢,初看好像2者差不多,雖然沒有一直掛起線程,但是也會有暫停線程去執行標記對象的流程。通過閱讀相關文檔可以瞭解到Art併發GC對於Dalvik來說主要有三個優勢點:

1、標記自身

Art在對象分配時會將新分配的對象壓入到Heap類的成員變量allocation_stack_描述的Allocation Stack中去,從而可以一定程度縮減對象遍歷範圍。

2、預讀取

對於標記Allocation Stack的內存時,會預讀取接下來要遍歷的對象,同時再取出來該對象後又會將該對象引用的其他對象壓入棧中,直至遍歷完畢。

3、減少Pause時間

在Mark階段是不會Block其他線程的,這個階段會有髒數據,比如Mark發現不會使用的但是這個時候又被其他線程使用的數據,在Mark階段也會處理一些髒數據而不是留在最後Block的時候再去處理,這樣也會減少後面Block階段對於髒數據的處理的時間。

3.6 前後臺GC

前臺Foreground指的就是應用程序在前臺運行時,而後臺Background就是應用程序在後臺運行時。因此,Foreground GC就是應用程序在前臺運行時執行的GC,而Background就是應用程序在後臺運行時執行的GC。

應用程序在前臺運行時,響應性是最重要的,因此也要求執行的GC是高效的。相反,應用程序在後臺運行時,響應性不是最重要的,這時候就適合用來解決堆的內存碎片問題。因此,Mark-Sweep GC適合作爲Foreground GC,而Mark-Compact GC適合作爲Background GC。

由於有Compact的能力存在,碎片化在Art上可以很好的被避免,這個也是Art一個很好的能力。

3.7 Art大法好

總的來看,art在gc上做的比dalvik好太多了,不光是gc的效率,減少pause時間,而且還在內存分配上對大內存的有單獨的分配區域,同時還能有算法在後臺做內存整理,減少內存碎片。對於開發者來說art下我們基本可以避免很多類似gc導致的卡頓問題了。另外根據谷歌自己的數據來看,Art相對Dalvik內存分配的效率提高了10倍,GC的效率提高了2-3倍。

4、GC Log

當我們想要根據GC日誌來追查一些GC可能造成的卡頓時,我們需要了解GC日誌的組成,不同信息代表了什麼含義。

4.1 Dalvik GC日誌

dalvik的日誌格式基本如下:

D/dalvikvm: <GC_Reason> <Amount_freed>, <Heap_stats>, <Pause_time>, <Total_time>

gc_reason:就是我們上文提到的,是gc_alloc還是gc_concurrent,瞭解到不同的原因方便我們做不同的處理。

amount_freed:表示系統通過這次GC操作釋放了多少內存

Heap_stats:中會顯示當前內存的空閒比例以及使用情況(活動對象所佔內存 / 當前程序總內存)

Pause_time:表示這次GC操作導致應用程序暫停的時間。關於這個暫停的時間,在2.3之前GC操作是不能併發進行的,也就是系統正在進行GC,那麼應用程序就只能阻塞住等待GC結束。而自2.3之後,GC操作改成了併發的方式進行,就是說GC的過程中不會影響到應用程序的正常運行,但是在GC操作的開始和結束的時候會短暫阻塞一段時間,所以還有後續的一個total_time。

Total_time:表示本次GC所花費的總時間和上面的Pause_time,也就是stop all是不一樣的,卡頓時間主要看上面的pause_time。

4.2 Art GC日誌

I/art: <GC_Reason> <Amount_freed>, <LOS_Space_Status>, <Heap_stats>, <Pause_time>, <Total_time>

基本情況和Dalvik沒有什麼差別,GC的Reason更多了,還多了一個OS_Space_Status

LOS_Space_Status:Large Object Space,大對象佔用的空間,這部分內存並不是分配在堆上的,但仍屬於應用程序內存空間,主要用來管理 bitmap 等佔內存大的對象,避免因分配大內存導致堆頻繁 GC。

推薦閱讀:字節跳動面試題 —— 水壺問題
2017-2020歷年字節跳動Android面試真題解析(累計下載1082萬次,持續更新中)

原文作者:Tmacchen
原文鏈接:https://zhuanlan.zhihu.com/p/24835977

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章