別再說你不懂Linux內存管理了,10張圖給你安排的明明白白

文中畫的圖挺好

,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

前提約定:本文討論技術內容前提,操作系統環境都是 x86架構的 32 位 Linux系統。

虛擬地址

即使是現代操作系統中,內存依然是計算機中很寶貴的資源,看看你電腦幾個T固態硬盤,再看看內存大小就知道了。

爲了充分利用和管理系統內存資源,Linux採用虛擬內存管理技術,利用虛擬內存技術讓每個進程都有4GB 互不干涉的虛擬地址空間。

進程初始化分配和操作的都是基於這個「虛擬地址」,只有當進程需要實際訪問內存資源的時候纔會建立虛擬地址和物理地址的映射,調入物理內存頁。

打個不是很恰當的比方,這個原理其實和現在的某某網盤一樣。假如你的網盤空間是1TB,真以爲就一口氣給了你這麼大空間嗎?那還是太年輕,都是在你往裏面放東西的時候纔給你分配空間,你放多少就分多少實際空間給你,但你和你朋友看起來就像大家都擁有1TB空間一樣。

虛擬地址的好處

  • 避免用戶直接訪問物理內存地址,防止一些破壞性操作,保護操作系統

  • 每個進程都被分配了4GB的虛擬內存,用戶程序可使用比實際物理內存更大的地址空間

4GB 的進程虛擬地址空間被分成兩部分:「用戶空間」和「內核空間」

用戶空間內核空間

物理地址

上面章節我們已經知道不管是用戶空間還是內核空間,使用的地址都是虛擬地址,當需進程要實際訪問內存的時候,會由內核的「請求分頁機制」產生「缺頁異常」調入物理內存頁。

把虛擬地址轉換成內存的物理地址,這中間涉及利用MMU 內存管理單元(Memory Management Unit ) 對虛擬地址分段和分頁(段頁式)地址轉換,關於分段和分頁的具體流程,這裏不再贅述,可以參考任何一本計算機組成原理教材描述。

段頁式內存管理地址轉換

Linux 內核會將物理內存分爲3個管理區,分別是:

ZONE_DMA

DMA內存區域。包含0MB~16MB之間的內存頁框,可以由老式基於ISA的設備通過DMA使用,直接映射到內核的地址空間。

ZONE_NORMAL

普通內存區域。包含16MB~896MB之間的內存頁框,常規頁框,直接映射到內核的地址空間。

ZONE_HIGHMEM

高端內存區域。包含896MB以上的內存頁框,不進行直接映射,可以通過永久映射和臨時映射進行這部分內存頁框的訪問。

物理內存區劃分

用戶空間

用戶進程能訪問的是「用戶空間」,每個進程都有自己獨立的用戶空間,虛擬地址範圍從從 0x00000000 至 0xBFFFFFFF 總容量3G 。

用戶進程通常只能訪問用戶空間的虛擬地址,只有在執行內陷操作或系統調用時才能訪問內核空間。

進程與內存

進程(執行的程序)佔用的用戶空間按照「 訪問屬性一致的地址空間存放在一起 」的原則,劃分成 5個不同的內存區域。訪問屬性指的是“可讀、可寫、可執行等 。

  • 代碼段

    代碼段是用來存放可執行文件的操作指令,可執行程序在內存中的鏡像。代碼段需要防止在運行時被非法修改,所以只准許讀取操作,它是不可寫的。

  • 數據段

    數據段用來存放可執行文件中已初始化全局變量,換句話說就是存放程序靜態分配的變量和全局變量。

  • BSS段

    BSS段包含了程序中未初始化的全局變量,在內存中 bss 段全部置零。

  • 堆 heap

    堆是用於存放進程運行中被動態分配的內存段,它的大小並不固定,可動態擴張或縮減。當進程調用malloc等函數分配內存時,新分配的內存就被動態添加到堆上(堆被擴張);當利用free等函數釋放內存時,被釋放的內存從堆中被剔除(堆被縮減)

  • 棧 stack

    棧是用戶存放程序臨時創建的局部變量,也就是函數中定義的變量(但不包括 static 聲明的變量,static意味着在數據段中存放變量)。除此以外,在函數被調用時,其參數也會被壓入發起調用的進程棧中,並且待到調用結束後,函數的返回值也會被存放回棧中。由於棧的先進先出特點,所以棧特別方便用來保存/恢復調用現場。從這個意義上講,我們可以把堆棧看成一個寄存、交換臨時數據的內存區。

上述幾種內存區域中數據段、BSS 段、堆通常是被連續存儲在內存中,在位置上是連續的,而代碼段和棧往往會被獨立存放。堆和棧兩個區域在 i386 體系結構中棧向下擴展、堆向上擴展,相對而生。

你也可以在linux下用size 命令查看編譯後程序的各個內存區域大小:


 
  1. [lemon ~]# size /usr/local/sbin/sshd

  2. text data bss dec hex filename

  3. 1924532 12412 426896 2363840 2411c0 /usr/local/sbin/sshd

內核空間

在 x86 32 位系統裏,Linux 內核地址空間是指虛擬地址從 0xC0000000 開始到 0xFFFFFFFF 爲止的高端內存地址空間,總計 1G 的容量, 包括了內核鏡像、物理頁面表、驅動程序等運行在內核空間 。

內核空間細分區域.

直接映射區

直接映射區 Direct Memory Region:從內核空間起始地址開始,最大896M的內核空間地址區間,爲直接內存映射區。

直接映射區的896MB的「線性地址」直接與「物理地址」的前896MB進行映射,也就是說線性地址和分配的物理地址都是連續的。內核地址空間的線性地址0xC0000001所對應的物理地址爲0x00000001,它們之間相差一個偏移量PAGE_OFFSET = 0xC0000000

該區域的線性地址和物理地址存在線性轉換關係「線性地址 = PAGE_OFFSET + 物理地址」也可以用 virt_to_phys()函數將內核虛擬空間中的線性地址轉化爲物理地址。

高端內存線性地址空間

內核空間線性地址從 896M 到 1G 的區間,容量 128MB 的地址區間是高端內存線性地址空間,爲什麼叫高端內存線性地址空間?下面給你解釋一下:

前面已經說過,內核空間的總大小 1GB,從內核空間起始地址開始的 896MB 的線性地址可以直接映射到物理地址大小爲 896MB 的地址區間。

退一萬步,即使內核空間的1GB線性地址都映射到物理地址,那也最多隻能尋址 1GB 大小的物理內存地址範圍。

請問你現在你家的內存條多大?快醒醒都 0202 年了,一般 PC 的內存都大於 1GB 了吧!

所以,內核空間拿出了最後的 128M 地址區間,劃分成下面三個高端內存映射區,以達到對整個物理地址範圍的尋址。而在 64 位的系統上就不存在這樣的問題了,因爲可用的線性地址空間遠大於可安裝的內存。

動態內存映射區

vmalloc Region 該區域由內核函數vmalloc來分配,特點是:線性空間連續,但是對應的物理地址空間不一定連續。vmalloc 分配的線性地址所對應的物理頁可能處於低端內存,也可能處於高端內存。

永久內存映射區

Persistent Kernel Mapping Region 該區域可訪問高端內存。訪問方法是使用 alloc_page (_GFP_HIGHMEM) 分配高端內存頁或者使用kmap函數將分配到的高端內存映射到該區域。

固定映射區

Fixing kernel Mapping Region 該區域和 4G 的頂端只有 4k 的隔離帶,其每個地址項都服務於特定的用途,如 ACPI_BASE 等。

內核空間物理內存映射

回顧一下

上面講的有點多,先彆着急進入下一節,在這之前我們再來回顧一下上面所講的內容。如果認真看完上面的章節,我這裏再畫了一張圖,現在你的腦海中應該有這樣一個內存管理的全局圖。

內核空間用戶空間全圖

內存數據結構

要讓內核管理系統中的虛擬內存,必然要從中抽象出內存管理數據結構,內存管理操作如「分配、釋放等」都基於這些數據結構操作,這裏列舉兩個管理虛擬內存區域的數據結構。

用戶空間內存數據結構

在前面「進程與內存」章節我們提到,Linux進程可以劃分爲 5 個不同的內存區域,分別是:代碼段、數據段、BSS、堆、棧,內核管理這些區域的方式是,將這些內存區域抽象成vm_area_struct的內存管理對象。

vm_area_struct是描述進程地址空間的基本管理單元,一個進程往往需要多個vm_area_struct來描述它的用戶空間虛擬地址,需要使用「鏈表」和「紅黑樹」來組織各個vm_area_struct

鏈表用於需要遍歷全部節點的時候用,而紅黑樹適用於在地址空間中定位特定內存區域。內核爲了內存區域上的各種不同操作都能獲得高性能,所以同時使用了這兩種數據結構。

用戶空間進程的地址管理模型:

wm_arem_struct

內核空間動態分配內存數據結構

在內核空間章節我們提到過「動態內存映射區」,該區域由內核函數vmalloc來分配,特點是:線性空間連續,但是對應的物理地址空間不一定連續。vmalloc 分配的線性地址所對應的物理頁可能處於低端內存,也可能處於高端內存。

vmalloc 分配的地址則限於vmalloc_startvmalloc_end之間。每一塊vmalloc分配的內核虛擬內存都對應一個vm_struct結構體,不同的內核空間虛擬地址之間有4k大小的防越界空閒區間隔區。

與用戶空間的虛擬地址特性一樣,這些虛擬地址與物理內存沒有簡單的映射關係,必須通過內核頁表纔可轉換爲物理地址或物理頁,它們有可能尚未被映射,當發生缺頁時才真正分配物理頁面。

動態內存映射

總結一下

Linux內存管理是一個非常複雜的系統,本文所述只是冰山一角,從宏觀角度給你展現內存管理的全貌,但一般來說,這些知識在你和面試官聊天的時候還是夠用的,當然也希望大家能夠通過讀書瞭解更深層次的原理。

本文可以作爲一個索引一樣的學習指南,當你想深入某一點學習的時候可以在這些章節裏找到切入點,以及這個知識點在內存管理宏觀上的位置。

本文創作過程我也畫了大量的示例圖解,可以作爲知識索引,個人感覺看圖還是比看文字更清晰明瞭,你可以在我公衆號「後端技術學堂」後臺回覆「內存管理」獲取這些圖片的高清原圖。

老規矩,感謝各位的閱讀,文章的目的是分享對知識的理解,技術類文章我都會反覆求證以求最大程度保證準確性,若文中出現明顯紕漏也歡迎指出,我們一起在探討中學習。今天的技術分享就到這裏,我們下期再見。

原創不易,看到這裏,如果在我這有一點點收穫,就動動手指「轉發」和「在看」是對我持續創作的最大支持。

Reference

《Linux內核設計與實現(原書第3版)》

Linux內存管理 https://cloud.tencent.com/developer/article/1515762

linux 內存管理初探 https://cloud.tencent.com/developer/article/1005671

linux內存管理源碼分析 - 頁框分配器 https://www.cnblogs.com/tolimit/p/4551428.html

Linux內核--內核地址空間分佈和進程地址空間 https://my.oschina.net/wuqingyi/blog/854382

Linux內存管理 http://gityuan.com/2015/10/30/kernel-memory/

Linux Used內存到底哪裏去了?http://blog.yufeng.info/archives/2456

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章