操作系統內存詳解

進程的簡單介紹

進程是佔有資源的最小單位,這個資源當然包括內存。在現代操作系統中,每個進程所能訪問的內存是互相獨立的(一些交換區除外)。而進程中的線程可以共享進程所分配的內存空間。
在操作系統的角度來看,進程=程序+數據+PCB(進程控制塊)

沒有內存抽象

在早些的操作系統中,並沒有引入內存抽象的概念。程序直接訪問和操作的都是物理內存。比如當執行如下指令時:
mov reg1,1000

這條指令會將物理地址1000中的內容賦值給寄存器。不難想象,這種內存操作方式使得操作系統中存在多進程變得完全不可能,比如MS-DOS,你必須執行完一條指令後才能接着執行下一條。如果是多進程的話,由於直接操作物理內存地址,當一個進程給內存地址1000賦值後,另一個進程也同樣給內存地址賦值,那麼第二個進程對內存的賦值會覆蓋第一個進程所賦的值,這回造成兩條進程同時崩潰。

沒有內存抽象對於內存的管理通常非常簡單,除去操作系統所用的內存之外,全部給用戶程序使用。或是在內存中多留一片區域給驅動程序使用,如圖1所示。

這裏寫圖片描述

第一種情況操作系統存於RAM中,放在內存的低地址第二種情況操作系統存在於ROM中,存在內存的高地址,一般老式的手機操作系統是這麼設計的。

如果這種情況下,想要操作系統可以執行多進程的話,唯一的解決方案就是和硬盤搞交換,當一個進程執行到一定程度時,整個存入硬盤,轉而執行其它進程,到需要執行這個進程時,再從硬盤中取回內存,只要同一時間內存中只有一個進程就行,這也就是所謂的交換(Swapping)技術。但這種技術由於還是直接操作物理內存,依然有可能引起進程的崩潰。
所以,通常來說,這種內存操作往往只存在於一些洗衣機,微波爐的芯片中,因爲不可能有第二個進程去徵用內存。

內存抽象

爲了解決直接操作內存帶來的各種問題,引入的地址空間(Address Space)這個概念,這允許每個進程擁有自己的地址。這還需要硬件上存在兩個寄存器,基址寄存器(base register)和界址寄存器(limit register),第一個寄存器保存進程的開始地址,第二個寄存器保存上界,防止內存溢出。在內存抽象的情況下,當執行
mov reg1,20
這時,實際操作的物理地址並不是20,而是根據基址和偏移量算出實際的物理地址進程操作,此時操作的實際地址可能是:
mov reg1,16245
在這種情況下,任何操作虛擬地址的操作都會被轉換爲操作物理地址。而每一個進程所擁有的內存地址是完全不同的,因此也使得多進程成爲可能。

但此時還有一個問題,通常來說,內存大小不可能容納下所有併發執行的進程。因此,交換(Swapping)技術應運而生。這個交換和前面所講的交換大同小異,只是現在講的交換在多進程條件下。交換的基本思想是,將閒置的進程交換出內存,暫存在硬盤中,待執行時再交換回內存,比如下面一個例子,當程序一開始時,只有進程A,逐漸有了進程B和C,此時來了進程D,但內存中沒有足夠的空間給進程D,因此將進程B交換出內存,分給進程D。如圖2所示。

這裏寫圖片描述

通過圖2,我們還發現一個問題,進程D和C之間的空間由於太小無法令任何進程使用,這也就是所謂的外部碎片。一種方法是通過緊湊技術(Memory Compaction)解決,通過移動進程在內存中的地址,使得這些外部碎片空間被填滿。使用緊湊技術會非常消耗CPU資源,一個2G的CPU每10ns可以處理4byte,因此多一個2G的內存進行一次緊湊可能需要好幾秒的CPU時間。還有一些討巧的方法,比如內存整理軟件,原理是申請一塊超大的內存,將所有進程置換出原內存,然後再釋放這塊內存,重新加載進程,使得外部碎片被消除。這也是爲什麼運行完內存整理會狂讀硬盤的原因。

進程內存是動態變化的

實際情況下,進程往往會動態增長,因此創建進程時分配的內存就是個問題了,如果分配多了,會產生內部碎片,浪費了內存,而分配少了會造成內存溢出。一個解決方法是在進程創建的時候,比進程實際需要的多分配一點內存空間用於進程的增長。

一種是直接多分配一點內存空間用於進程在內存中的增長,另一種是將增長區分爲數據段和棧(用於存放返回地址和局部變量),如圖3所示。

這裏寫圖片描述

空間不足的解決方案

當預留的空間不夠滿足增長時,操作系統首先會看相鄰的內存是否空閒,如果空閒則自動分配,如果不空閒,就將整個進程移到足夠容納增長的空間內存中,如果不存在這樣的內存空間,則會將閒置的進程置換出去。

內存的管理策略

當允許進程動態增長時,操作系統必須對內存進行更有效的管理,操作系統使用如下兩種方法之一來得知內存的使用情況,分別爲1位圖(bitmap) 和鏈表
這裏寫圖片描述

使用位圖,將內存劃爲多個大小相等的塊,比如一個32K的內存1K一塊可以劃爲32塊,則需要32位(4字節)來表示其使用情況,使用位圖將已經使用的塊標爲1,未使用的標爲0.

而使用鏈表,則將內存按使用或未使用分爲多個段進行鏈接。使用鏈表中的P表示從0-2是進程,H表示從3-4是空閒。

使用位圖表示內存簡單明瞭,但一個問題是當分配內存時必須在內存中搜索大量的連續0的空間,這是十分消耗資源的操作。相比之下,使用鏈表進行此操作將會更勝一籌。還有一些操作系統會使用雙向鏈表,因爲當進程銷燬時,鄰接的往往是空內存或是另外的進程。使用雙向鏈表使得鏈表之間的融合變得更加容易。還有,當利用鏈表管理內存的情況下,創建進程時分配什麼樣的空閒空間也是個問題。通常情況下有如下幾種算法來對進程創建時的空間進行分配。

  • 臨近適應算法(Next fit)—從當前位置開始,搜索第一個能滿足進程要求的內存空間
  • 最佳- 適應算法(Best fit)—搜索整個鏈表,找到能滿足進程要求最小內存的內存空間
  • 最大適應算法(Wrost fit)—找到當前內存中最大的空閒空間
  • 首次適應算法(First fit) —從鏈表的第一個開始,找到第一個能滿足進程要求的內存空間

虛擬內存(Virtual Memory)

虛擬內存是現代操作系統普遍使用的一種技術。前面所講的抽象滿足了多進程的要求,但很多情況下,現有內存無法滿足僅僅一個大進程的內存要求(比如很多遊戲,都是10G+的級別)。在早期的操作系統曾使用覆蓋(overlays)來解決這個問題,將一個程序分爲多個塊,基本思想是先將塊0加入內存,塊0執行完後,將塊1加入內存。依次往復,這個解決方案最大的問題是需要程序員去程序進行分塊,這是一個費時費力讓人痛苦不堪的過程。後來這個解決方案的修正版就是虛擬內存。

虛擬內存的基本思想是,每個進程有用獨立的邏輯地址空間,內存被分爲大小相等的多個塊,稱爲頁(Page).每個頁都是一段連續的地址。對於進程來看,邏輯上貌似有很多內存空間,其中一部分對應物理內存上的一塊(稱爲頁框,通常頁和頁框大小相等),還有一些沒加載在內存中的對應在硬盤上,如圖5所示。

這裏寫圖片描述
由圖5可以看出,虛擬內存實際上可以比物理內存大。當訪問虛擬內存時,會訪問MMU(內存管理單元)去匹配對應的物理地址(比如圖5的0,1,2),而如果虛擬內存的頁並不存在於物理內存中(如圖5的3,4),會產生缺頁中斷,從磁盤中取得缺的頁放入內存,如果內存已滿,還會根據某種算法將磁盤中的頁換出。

而虛擬內存和物理內存的匹配是通過頁表實現,頁表存在MMU中,頁表中每個項通常爲32位,既4byte,除了存儲虛擬地址和頁框地址之外,還會存儲一些標誌位,比如是否缺頁,是否修改過,寫保護等。可以把MMU想象成一個接收虛擬地址項返回物理地址的方法。

因爲頁表中每個條目是4字節,現在的32位操作系統虛擬地址空間會是2的32次方,即使每頁分爲4K,也需要2的20次方*4字節=4M的空間,爲每個進程建立一個4M的頁表並不明智。因此在頁表的概念上進行推廣,產生二級頁表,二級頁表每個對應4M的虛擬地址,而一級頁表去索引這些二級頁表,因此32位的系統需要1024個二級頁表,雖然頁表條目沒有減少,但內存中可以僅僅存放需要使用的二級頁表和一級頁表,大大減少了內存的使用。

分頁機制:

爲什麼使用兩級頁表

假設每個進程都佔用了4G的線性地址空間,頁表共含1M個表項,每個表項佔4個字節,那麼每個進程的頁表要佔據4M的內存空間。爲了節省頁表佔用的空間,我們使用兩級頁表。每個進程都會被分配一個頁目錄,但是隻有被實際使用頁表纔會被分配到內存裏面。一級頁表需要一次分配所有頁表空間,兩級頁表則可以在需要的時候再分配頁表空間。

兩級頁表結構

兩級表結構的第一級稱爲頁目錄,存儲在一個4K字節的頁面中。頁目錄表共有1K個表項,每個表項爲4個字節,並指向第二級表。線性地址的最高10位(即位31~位32)用來產生第一級的索引,由索引得到的表項中,指定並選擇了1K個二級表中的一個表。
這裏寫圖片描述
兩級表結構的第二級稱爲頁表,也剛好存儲在一個4K字節的頁面中,包含1K個字節的表項,每個表項包含一個頁的物理基地址。第二級頁表由線性地址的中間10位(即位21~位12)進行索引,以獲得包含頁的物理地址的頁表項,這個物理地址的高20位與線性地址的低12位形成了最後的物理地址,也就是頁轉化過程輸出的物理地址。

線性地址到物理地址的轉換:
這裏寫圖片描述
擴展分頁
從奔騰處理器開始,Intel微處理器引進了擴展分頁,它允許頁的大小爲4MB。
這裏寫圖片描述
頁面高速緩存:
這裏寫圖片描述

頁面替換算法

因爲在計算機系統中,讀取少量數據硬盤通常需要幾毫秒,而內存中僅僅需要幾納秒。一條CPU指令也通常是幾納秒,如果在執行CPU指令時,產生幾次缺頁中斷,那性能可想而知,因此儘量減少從硬盤的讀取無疑是大大的提升了性能。而前面知道,物理內存是極其有限的,當虛擬內存所求的頁不在物理內存中時,將需要將物理內存中的頁替換出去,選擇哪些頁替換出去就顯得尤爲重要,如果算法不好將未來需要使用的頁替換出去,則以後使用時還需要替換進來,這無疑是降低效率的,讓我們來看幾種頁面替換算法。

1) 最佳置換算法(Optimal Page Replacement Algorithm)

最佳置換算法是將未來最久不使用的頁替換出去,這聽起來很簡單,但是無法實現。但是這種算法可以作爲衡量其它算法的基準。

2) 最近不常使用算法(Not Recently Used Replacement Algorithm)

這種算法給每個頁一個標誌位,R表示最近被訪問過,M表示被修改過。定期對R進行清零。這個算法的思路是首先淘汰那些未被訪問過R=0的頁,其次是被訪問過R=1,未被修改過M=0的頁,最後是R=1,M=1的頁。

3) 先進先出頁面置換算法(First-In,First-Out Page Replacement Algorithm)

這種算法的思想是淘汰在內存中最久的頁,這種算法的性能接近於隨機淘汰。並不好。
改進型FIFO算法(Second Chance Page Replacement Algorithm)
這種算法是在FIFO的基礎上,爲了避免置換出經常使用的頁,增加一個標誌位R,如果最近使用過將R置1,當頁將會淘汰時,如果R爲1,則不淘汰頁,將R置0.而那些R=0的頁將被淘汰時,直接淘汰。這種算法避免了經常被使用的頁被淘汰。

4) 時鐘替換算法(Clock Page Replacement Algorithm)

雖然改進型FIFO算法避免置換出常用的頁,但由於需要經常移動頁,效率並不高。因此在改進型FIFO算法的基礎上,將隊列首位相連形成一個環路,當缺頁中斷產生時,從當前位置開始找R=0的頁,而所經過的R=1的頁被置0,並不需要移動頁。如圖6所示。
最久未使用算法(LRU Page Replacement Algorithm)
LRU算法的思路是淘汰最近最長未使用的頁。這種算法性能比較好,但實現起來比較困難。

算法 描述:
最佳置換算法 無法實現,作爲測試基準使用
最近不常使用算法 和LRU性能差不多
先進先出算法 有可能會置換出經常使用的頁
改進型先進先出算法 和先進先出相比有很大提升
最久未使用算法 性能非常好,但實現起來比較困難
時鐘置換算法 非常實用的算法

上面幾種算法或多或少有一些局部性原理的思想。局部性原理分爲時間和空間上的局部性
1.時間上,最近被訪問的頁在不久的將來還會被訪問。
2.空間上,內存中被訪問的頁周圍的頁也很可能被訪問。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章