LINUX共享內存使用常見陷阱與分析

原文鏈接:http://www.dcshi.com/?p=79

所謂共享內存就是使得多個進程可以訪問同一塊內存空間,是最快的可用IPC形式。是針對其他通信機制運行效率較低而設計的。往往與其它通信機制,如信號量結合使用,來達到進程間的同步及互斥。其他進程能把同一段共享內存段“連接到”他們自己的地址空間裏去。所有進程都能訪問共享內存中的地址。如果一個進程向這段共享內存寫了數據,所做的改動會即時被有訪問同一段共享內存的其他進程看到。共享內存的使用大大降低了在大規模數據處理過程中內存的消耗,但是共享內存的使用中有很多的陷阱,一不注意就很容易導致程序崩潰。

超過共享內存的大小限制?

在一個linux服務器上,共享內存的總體大小是有限制的,這個大小通過SHMMAX參數來定義(以字節爲單位),您可以通過執行以下命令來確定 SHMMAX 的值:

  1. # cat /proc/sys/kernel/shmmax 

如果機器上創建的共享內存的總共大小超出了這個限制,在程序中使用標準錯誤perror可能會出現以下的信息:

  1. unable to attach to shared memory 

解決方法:

1、設置 SHMMAX

SHMMAX 的默認值是 32MB 。一般使用下列方法之一種將 SHMMAX 參數設爲 2GB :

通過直接更改 /proc 文件系統,你不需重新啓動機器就可以改變 SHMMAX 的默認設置。我使用的方法是將以下命令放入 />etc/rc.local 啓動文件中:

  1. # echo "2147483648" > /proc/sys/kernel/shmmax 

您還可以使用 sysctl 命令來更改 SHMMAX 的值:

  1. # sysctl -w kernel.shmmax=2147483648 

最後,通過將該內核參數插入到 /etc/sysctl.conf 啓動文件中,您可以使這種更改永久有效:

  1. # echo "kernel.shmmax=2147483648" >> /etc/sysctl.conf 

2、設置 SHMMNI

我們現在來看 SHMMNI 參數。這個內核參數用於設置系統範圍內共享內存段的最大數量。該參數的默認值是 4096 。這一數值已經足夠,通常不需要更改。

您可以通過執行以下命令來確定 SHMMNI 的值:

  1. # cat /proc/sys/kernel/shmmni 
  2. 4096 

3、設置 SHMALL

最後,我們來看 SHMALL 共享內存內核參數。該參數控制着系統一次可以使用的共享內存總量(以頁爲單位)。簡言之,該參數的值始終應該至少爲:

  1. ceil(SHMMAX/PAGE_SIZE) 

SHMALL 的默認大小爲 2097152 ,可以使用以下命令進行查詢:

  1. # cat /proc/sys/kernel/shmall 
  2. 2097152 

SHMALL 的默認設置對於我們來說應該足夠使用。

注意: 在 i386 平臺上 Red Hat Linux 的 頁面大小 爲 4096 字節。但是,您可以使用 bigpages ,它支持配置更大的內存頁面尺寸。

多次進行shmat會出現什麼問題?

當首次創建共享內存段時,它並不能被任何進程所訪問。爲了使共享內存區可以被訪問,則必須通過 shmat 函數將其附加( attach )到自己的進程空間中,這樣進程就與共享內存建立了連接。該函數聲明在 linux/shm.h中:

  1. #include 
  2. #include 
  3. void *shmat(int shmid, const void *shmaddr, int shmflg); 

參數 shmid 是 shmget() 的返回值,是個標識符;

參數 shmflg 是存取權限標誌;如果爲 0 ,則不設置任何限制權限。在 中定義了幾個權限:

  1. #define SHM_RDONLY 010000 /* attach read-only else read-write */ 
  2. #define SHM_RND 020000 /* round attach address to SHMLBA */ 
  3. #define SHM_REMAP 040000 /* take-over region on attach */ 

如果指定 SHM_RDONLY ,那麼共享內存區只有讀取權限。

參數 shmaddr 是共享內存的附加點,不同的取值有不同的含義:

?如果爲空,則由內核選擇一個空閒的內存區;如果非空,返回地址取決於調用者是否給 shmflg 參數指定 SHM_RND 值,如果沒有指定,則共享內存區附加到由 shmaddr 指定的地址;否則附加地址爲 shmaddr 向下舍入一個共享內存低端邊界地址後的地址 (SHMLBA ,一個常址)。

Ø通常將參數 shmaddr 設置爲 NULL 。

shmat() 調用成功後返回一個指向共享內存區的指針,使用該指針就可以訪問共享內存區了,如果失敗則返回 -1。

其映射關係如下圖所示:

圖1.1 共享內存映射圖

其中,shmaddr表示的是物理內存空間映射到進程的虛擬內存空間時候,虛擬內存空間中該塊內存的起始地址,在使用中,因爲我們一般不清楚進程中哪些地址沒有被佔用,所以不好指定物理空間的內存要映射到本進程的虛擬內存地址,一般會讓內核自己指定:

  1. void ptr = shmat(shmid, NULL,0); 

這樣掛載一個共享內存如果是一次調用是沒有問題的,但是一個進程是可以對同一個共享內存多次 shmat進行掛載的,物理內存是指向同一塊,如果shmaddr爲NULL,則每次返回的線性地址空間都不同。而且指向這塊共享內存的引用計數會增加。也就是進程多塊線性空間會指向同一塊物理地址。這樣,如果之前掛載過這塊共享內存的進程的線性地址沒有被shmdt掉,即申請的線性地址都沒有釋放,就會一直消耗進程的虛擬內存空間,很有可能會最後導致進程線性空間被使用完而導致下次shmat或者其他操作失敗。

解決方法:

可以通過判斷需要申請的共享內存指針是否爲空來標識是否是第一次掛載共享內存,若是則使用進行掛載,若不是則退出。

  1. void* ptr = NULL; 
  2. ... 
  3. if (NULL != ptr) 
  4. return; 
  5. ptr = shmat(shmid,ptr,0666); 

附:

函數shmat將標識號爲shmid共享內存映射到調用進程的地址空間中,映射的地址由參數shmaddr和shmflg共同確定,其準則爲:

(1) 如果參數shmaddr取值爲NULL,系統將自動確定共享內存鏈接到進程空間的首地址。

(2) 如果參數shmaddr取值不爲NULL且參數shmflg沒有指定SHM_RND標誌,系統將運用地址shmaddr鏈接共享內存。

(3) 如果參數shmaddr取值不爲NULL且參數shmflg指定了SHM_RND標誌位,系統將地址shmaddr對齊後鏈接共享內存。其中選項SHM_RND的意思是取整對齊,常數SHMLBA代表了低邊界地址的倍數,公式“shmaddr – (shmaddr % SHMLBA)”的意思是將地址shmaddr移動到低邊界地址的整數倍上。

Shmget創建共享內存,當key相同時,什麼情況下會出錯?

shmget() 用來創建一個共享內存區,或者訪問一個已存在的共享內存區。該函數定義在頭文件 linux/shm.h中,原型如下:

  1. #include 
  2. #include 
  3. int shmget(key_t key, size_t size, int shmflg); 

參數 key是由 ftok() 得到的鍵值;

參數 size 是以字節爲單位指定內存的大小;

參數 shmflg 是操作標誌位,它的一些宏定義如下:

IPC_CREATE : 調用 shmget 時,系統將此值與其他共享內存區的 key 進行比較,如果存在相同的 key ,說明共享內存區已存在,此時返回該共享內存區的標識符,否則新建一個共享內存區並返回其標識符。

IPC_EXCL : 該宏必須和 IPC_CREATE 一起使用,否則沒意義。當 shmflg 取 IPC_CREATE | IPC_EXCL 時,表示如果發現內存區已經存在則返回 -1,錯誤代碼爲 EEXIST 。

注意,當創建一個新的共享內存區時,size 的值必須大於 0 ;如果是訪問一個已經存在的內存共享區,則置 size 爲 0 。

一般我們創建共享內存的時候會在一個進程中使用shmget來創建共享內存,

  1. Int shmid = shmget(key, size, IPC_CREATE|0666); 

而在另外的進程中,使用shmget和同樣的key來獲取到這個已經創建了的共享內存,

  1. Int shmid = shmget(key, size, IPC_CREATE|0666); 

如果創建進程和掛接進程key相同,而對應的size大小不同,是否會shmget失敗?

Ø 已經創建的共享內存的大小是可以調整的,但是已經創建的共享內存的大小隻能調小,不能調大

如:

  1. shm_id = shmget(key,4194304,IPC_CREAT); 

創建了一個4M大小的共享內存,如果這個共享內存沒有刪掉,我們再使用

  1. shm_id = shmget(key,10485760,IPC_CREAT); 

來創建一個10M大小的共享內存的時候,使用標準錯誤輸出會有如下錯誤信息:

  1. shmget error: Invalid argument 

但是,如果我們使用:

  1. shm_id = shmget(key,3145728,IPC_CREAT); 

來創建一個3M大小的共享內存的時候,並不會輸出錯誤信息,只是共享內存大小會被修改爲3145728,這也說明,使用共享內存的時候,是用key來作爲共享內存的唯一標識的,共享內存的大小不能區分共享內存。

這樣會導致什麼問題?

當多個進程都能創建共享內存的時候,如果key出現相同的情況,並且一個進程需要創建的共享內存的大小要比另外一個進程要創建的共享內存小,共享內存大的進程先創建共享內存,共享內存小的進程後創建共享內存,小共享內存的進程就會獲取到大的共享內存進程的共享內存, 並修改其共享內存的大小和內容(留意下面的評論補充),從而可能導致大的共享內存進程崩潰。

解決方法:

方法一:

在所有的共享內存創建的時候,使用排他性創建,即使用IPC_EXCL標記:

  1. Shmget(key, size,IPC_CREATE|IPC_EXCL); 

在共享內存掛接的時候,先使用排他性創建判斷共享內存是否已經創建,如果還沒創建則進行出錯處理,若已經創建,則掛接:

  1. Shmid = Shmget(key, size,IPC_CREATE|IPC_EXCL); 
  2. If (-1 != shmid) 
  3. Printf("error"); 
  4. Shmid = Shmget(key, size,IPC_CREATE); 

方法二:

雖然都希望自己的程序能和其他的程序預先約定一個唯一的鍵值,但實際上並不是總可能的成行的,因爲自己的程序無法爲一塊共享內存選擇一個鍵值。因此,在此把key設爲IPC_PRIVATE,這樣,操作系統將忽略鍵,建立一個新的共享內存,指定一個鍵值,然後返回這塊共享內存IPC標識符ID。而將這個新的共享內存的標識符ID告訴其他進程可以在建立共享內存後通過派生子進程,或寫入文件或管道來實現,即這種方法不使用key來創建共享內存,由操作系統來保證唯一性。

ftok是否一定會產生唯一的key值?

系統建立IPC通訊(如消息隊列、共享內存時)必須指定一個ID值。通常情況下,該id值通過ftok函數得到。

ftok原型如下:

  1. key_t ftok( char * pathname, int proj_id) 

pathname就時你指定的文件名,proj_id是子序號。

在一般的UNIX實現中,是將文件的索引節點號取出,前面加上子序號得到key_t的返回值。如指定文件的索引節點號爲65538,換算成16進製爲0×010002,而你指定的proj_id值爲38,換算成16進製爲0×26,則最後的key_t返回值爲0×26010002。

查詢文件索引節點號的方法是: ls -i

但當刪除重建文件後,索引節點號由操作系統根據當時文件系統的使用情況分配,因此與原來不同,所以得到的索引節點號也不同。

根據pathname指定的文件(或目錄)名稱,以及proj_id參數指定的數字,ftok函數爲IPC對象生成一個唯一性的鍵值。在實際應用中,很容易產生的一個理解是,在proj_id相同的情況下,只要文件(或目錄)名稱不變,就可以確保ftok返回始終一致的鍵值。然而,這個理解並非完全正確,有可能給應用開發埋下很隱晦的陷阱。因爲ftok的實現存在這樣的風險,即在訪問同一共享內存的多個進程先後調用ftok函數的時間段中,如果pathname指定的文件(或目錄)被刪除且重新創建,則文件系統會賦予這個同名文件(或目錄)新的i節點信息,於是這些進程所調用的ftok雖然都能正常返回,但得到的鍵值卻並不能保證相同。由此可能造成的後果是,原本這些進程意圖訪問一個相同的共享內存對象,然而由於它們各自得到的鍵值不同,實際上進程指向的共享內存不再一致;如果這些共享內存都得到創建,則在整個應用運行的過程中表面上不會報出任何錯誤,然而通過一個共享內存對象進行數據傳輸的目的將無法實現。

所以如果要確保key_t值不變, 要麼確保ftok的文件不被刪除,要麼不用ftok,指定一個固定的key_t值。

如果存在生成key_t值的文件被刪除過,則很有可能自己現在使用的共享內存key_t值會和另外一個進程的key_t值衝突,如下面這種情況:

進程1使用文件1來ftok生成了key10000,進程2使用文件2來ftok生成了key 11111,此時如果進程1和進程2都需要下載文件,並將文件的內容更新到共享內存,此時進程1和2都需要先下文件,再刪掉之前的共享內存,再使用ftok生成新的key,再用這個key去申請新的共享內存來裝載新的問題,但是可能文件2比較大,下載慢,而文件1比較小,下載比較慢,由於文件1和文件2都被修改,此時文件1所佔用的文件節點號可能是文件2之前所佔用的,此時如果下載的文件1的ftok生成的key爲11111的話,就會和此時還沒有是否11111這個key的進程2的共享內存衝突,導致出現問題。

解決方法:

方法一:

在有下載文件操作的程序中,對下載的文件使用ftok獲取key的時候,需要進行衝突避免的措施,如使用獨佔的方式獲取共享內存,如果不成功,則對key進行加一操作,再進行獲取共享內存,一直到不會產生衝突爲止。

方法二:

下載文件之前,將之前的文件進行mv一下,先“佔”着這個文件節點號,防止其他共享內存申請key的時候獲取到。

另外:

創建進程在通知其他進程掛接的時候,建議不使用ftok方式來獲取Key,而使用文件或者進程間通信的方式告知。

共享內存刪除的陷阱?

當進程結束使用共享內存區時,要通過函數 shmdt 斷開與共享內存區的連接。該函數聲明在 sys/shm.h 中,其原型如下:

  1. #include 
  2. #include 
  3. int shmdt(const void *shmaddr); 

參數 shmaddr 是 shmat 函數的返回值。

進程脫離共享內存區後,數據結構 shmid_ds 中的 shm_nattch 就會減 1 。但是共享段內存依然存在,只有 shm_attch 爲 0 後,即沒有任何進程再使用該共享內存區,共享內存區纔在內核中被刪除。一般來說,當一個進程終止時,它所附加的共享內存區都會自動脫離。

我們通過:

  1. int shmctl( int shmid , int cmd , struct shmid_ds *buf ); 

來刪除已經存在的共享內存。

第一個參數,shmid,是由shmget所返回的標記符。

第二個參數,cmd,是要執行的動作。他可以有三個值:

命令 描述

  • IPC_STAT 設置shmid_ds結構中的數據反射與共享內存相關聯的值。
  • IPC_SET 如果進程有相應的權限,將與共享內存相關聯的值設置爲shmid_ds數據結構中所提供的值。
  • IPC_RMID 刪除共享內存段。

第三個參數,buf,是一個指向包含共享內存模式與權限的結構的指針,刪除的時候可以默認爲0。

如果共享內存已經與所有訪問它的進程斷開了連接,則調用IPC_RMID子命令後,系統將立即刪除共享內存的標識符,並刪除該共享內存區,以及所有相關的數據結構;

如果仍有別的進程與該共享內存保持連接,則調用IPC_RMID子命令後,該共享內存並不會被立即從系統中刪除,而是被設置爲IPC_PRIVATE狀態,並被標記爲”已被刪除”(使用ipcs命令可以看到dest字段);直到已有連接全部斷開,該共享內存纔會最終從系統中消失。

需要說明的是:一旦通過shmctl對共享內存進行了刪除操作,則該共享內存將不能再接受任何新的連接,即使它依然存在於系統中!所以,可以確知, 在對共享內存刪除之後不可能再有新的連接,則執行刪除操作是安全的;否則,在刪除操作之後如仍有新的連接發生,則這些連接都將可能失敗!

Shmdt和shmctl的區別:

Shmdt 是將共享內存從進程空間detach出來,使進程中的shmid無效化,不可以使用。但是保留空間。

而shmctl(sid,IPC_RMID,0)則是刪除共享內存,徹底不可用,釋放空間。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章