Linux 查看進程消耗內存情況總結

在Linux中,有很多命令或工具查看內存使用情況,今天我們來看看如何查看進程消耗、佔用的內存情況,Linux的內存管理和相關概念要比Windows複雜一些。在此之前,我們需要了解一下Linux系統下面有關內存的專用名詞和專業術語概念: 

物理內存和虛擬內存 

物理內存:就是系統硬件提供的內存大小,是真正的內存,一般叫做內存條。也叫隨機存取存儲器(random access memory,RAM)又稱作“隨機存儲器”,是與CPU直接交換數據的內部存儲器,也叫主存(內存)。 

虛擬內存:相對於物理內存,在Linux下還有一個虛擬內存的概念,虛擬內存就是爲了滿足物理內存的不足而提出的策略,它是利用磁盤空間虛擬出的一塊邏輯內存,用作虛擬內存的磁盤空間被稱爲交換空間(Swap Space)。Linux會在物理內存不足時,使用虛擬內存,內核會把暫時不用的內存塊信息寫到虛擬內存,這樣物理內存就得到了釋放,這塊兒內存就可以用於其他目的,而需要用到這些內容的時候,這些信息就會被重新從虛擬內存讀入物理內存。 

Linux的buffers與cached

在Linux中經常發現空閒的內存很少,似乎所有的內存都被消耗殆盡了,表面上看是內存不夠用了,很多新手看到內存被“消耗殆盡”非常緊張,其實這個是因爲Linux系統將空閒的內存用來做磁盤文件數據的緩存。這個導致你的系統看起來處於內存非常緊急的狀況。但是實際上不是這樣。這個區別於Windows的內存管理。Linux會利用空閒的內存來做cached & buffers。 

buffers是指用來給塊設備做的緩衝大小(塊設備的讀寫緩衝區),它只記錄文件系統的metadata以及 tracking in-flight pages.

Buffers are associated with a specific block device, and cover caching of filesystem metadata as well as tracking in-flight pages. The cache only contains parked file data. That is, the buffers remember what’s in directories, what file permissions are, and keep track of what memory is being written from or read to for a particular block device. The cache only contains the contents of the files themselves.

cached是作爲page cache的內存, 文件系統的cache。你讀寫文件的時候,Linux內核爲了提高讀寫性能與速度,會將文件在內存中進行緩存,這部分內存就是Cache Memory(緩存內存)。即使你的程序運行結束後,Cache Memory也不會自動釋放。這就會導致你在Linux系統中程序頻繁讀寫文件後,你會發現可用物理內存會很少。其實這緩存內存(Cache Memory)在你需要使用內存的時候會自動釋放,所以你不必擔心沒有內存可用

Cached is the size of the page cache. Buffers is the size of in-memory block I/O buffers. Cached matters; Buffers is largely irrelevant.

Cached is the size of the Linux page cache, minus the memory in the swap cache, which is represented by SwapCached (thus the total page cache size is Cached + SwapCached). Linux performs all file I/O through the page cache. Writes are implemented as simply marking as dirty the corresponding pages in the page cache; the flusher threads then periodically write back to disk any dirty pages. Reads are implemented by returning the data from the page cache; if the data is not yet in the cache, it is first populated. On a modern Linux system, Cached can easily be several gigabytes. It will shrink only in response to memory pressure. The system will purge the page cache along with swapping data out to disk to make available more memory as needed.

Buffers are in-memory block I/O buffers. They are relatively short-lived. Prior to Linux kernel version 2.4, Linux had separate page and buffer caches. Since 2.4, the page and buffer cache are unified and Buffers is raw disk blocks not represented in the page cache—i.e., not file data. The Buffers metric is thus of minimal importance. On most systems, Buffers is often only tens of megabytes. 

Linux共享內存

共享內存是進程間通信中最簡單的方式之一。共享內存允許兩個或更多進程訪問同一塊內存,就如同 malloc() 函數向不同進程返回了指向同一個物理內存區域的指針。當一個進程改變了這塊地址中的內容的時候,其它進程都會察覺到這個。其實所謂共享內存,就是多個進程間共同地使用同一段物理內存空間,它是通過將同一段物理內存映射到不同進程的虛擬空間來實現的。由於映射到不同進程的虛擬空間中,不同進程可以直接使用,不需要像消息隊列那樣進行復制,所以共享內存的效率很高。共享內存可以通過mmap()映射普通文件機制來實現,也可以System V共享內存機制來實現,System V是通過映射特殊文件系統shm中的文件實現進程間的共享內存通信,也就是說每個共享內存區域對應特殊文件系統shm中的一個文件。

另外,我們還必須瞭解RSS、PSS、USS等相關概念:

  • VSS – Virtual Set Size 虛擬耗用內存(包含共享庫佔用的內存)

  • RSS – Resident Set Size 實際使用物理內存(包含共享庫佔用的內存)

  • PSS – Proportional Set Size 實際使用的物理內存(比例分配共享庫佔用的內存)

  • USS – Unique Set Size 進程獨自佔用的物理內存(不包含共享庫佔用的內存)
     

RSS(Resident set size),使用top命令可以查詢到,是最常用的內存指標,表示進程佔用的物理內存大小。但是,將各進程的RSS值相加,通常會超出整個系統的內存消耗,這是因爲RSS中包含了各進程間共享的內存。

PSS(Proportional set size)所有使用某共享庫的程序均分該共享庫佔用的內存時,每個進程佔用的內存。顯然所有進程的PSS之和就是系統的內存使用量。它會更準確一些,它將共享內存的大小進行平均後,再分攤到各進程上去。 

USS(Unique set size )進程獨自佔用的內存,它是PSS中自己的部分,它只計算了進程獨自佔用的內存大小,不包含任何共享的部分。 

所以下面介紹的命令,有些查看進程的虛擬內存使用,有些是查看進程的RSS或實際物理內存。在講述的時候,我們會標註這些信息。

top命令查看

執行top命令後,執行SHIFT +F ,可以選擇按某列排序,例如選擇n後,就會按字段%MEM排序

當然也可以使用shift+m 或大寫鍵M 讓top命令按字段%MEM來排序,當然你也可以按VIRT(虛擬內存)、SWAP(進程使用的SWAP空間)、RES(實際使用物理內存,當然這裏由於涉及共享內存緣故,你看到的實際內存非常大)

%MEM — Memory usage (RES) 

A task’s currently used share of available physical memory

VIRT — virtual memory

The total amount of virtual memory used by the task. It includes all code, data and shared libraries plus pages that have been swapped out. (Note: you can define the STATSIZE=1 environment variable and the VIRT will be calculated from the /proc/#/state VmSize field.)

VIRT = SWAP + RES

SWAP — Swapped size (kb)

The swapped out portion of a task’s total virtual memory image.

RES — Resident size (kb) 

RES = CODE + DATA.

是否有人會覺得奇怪,爲什麼%MEM這一列的值加起來會大於100呢? 這個是因爲這裏計算的時候包含了共享內存的緣故,另外由於共享內存的緣故,你看到進程使用VIRT或RES都非常高。由於大部分的物理內存通常在多個應用程序之間共享,名爲實際使用物理內存(RSS,對應top命令裏面的RES)的這個標準的內存耗用衡量指標會大大高估內存耗用情況。

ps命令查看

使用ps命令找出佔用內存資源最多的20個進程(數量可以任意設置)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

# ps aux | head -1;ps aux |grep -v PID |sort -rn -k +4 | head -20

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND

oracle   32147 11.0 51.2 13252080 12666320 ?   Rs   Aug24 163:16 ora_s000_SCM2

oracle   32149 14.2 50.9 13250344 12594264 ?   Ss   Aug24 210:41 ora_s001_SCM2

oracle   32153  4.2 49.6 13250820 12279432 ?   Ss   Aug24  62:27 ora_s003_SCM2

oracle   32155  2.5 48.6 13250268 12040732 ?   Ss   Aug24  38:21 ora_s004_SCM2

oracle   32157  1.2 44.5 13250296 11011708 ?   Ss   Aug24  18:31 ora_s005_SCM2

oracle   32151  2.7 39.7 13350436 9829944 ?    Ss   Aug24  41:18 ora_s002_SCM2

oracle   32159  0.5 38.9 13250704 9625764 ?    Ss   Aug24   8:18 ora_s006_SCM2

oracle   32161  0.2 26.3 13250668 6507244 ?    Ss   Aug24   3:38 ora_s007_SCM2

oracle   32129  0.0 25.5 13299084 6324644 ?    Ss   Aug24   1:25 ora_dbw0_SCM2

oracle   32181  0.0 15.8 13250152 3913260 ?    Ss   Aug24   0:56 ora_s017_SCM2

oracle   32145  2.7 15.3 13255256 3786456 ?    Ss   Aug24  40:11 ora_d000_SCM2

oracle   32127  0.0 15.2 13248996 3762860 ?    Ss   Aug24   0:05 ora_mman_SCM2

oracle   32163  0.0 14.2 13250108 3525160 ?    Ss   Aug24   1:04 ora_s008_SCM2

oracle   32165  0.0  8.1 13250172 2007704 ?    Ss   Aug24   0:37 ora_s009_SCM2

oracle   32169  0.0  6.6 13250060 1656864 ?    Ss   Aug24   0:08 ora_s011_SCM2

oracle   32177  0.0  6.0 13250148 1498760 ?    Ss   Aug24   0:12 ora_s015_SCM2

oracle   32187  0.0  5.1 13250084 1267384 ?    Ss   Aug24   0:06 ora_s020_SCM2

oracle   32179  0.0  5.1 13250584 1280156 ?    Ss   Aug24   0:05 ora_s016_SCM2

oracle   32167  0.0  5.0 13250060 1248668 ?    Ss   Aug24   0:08 ora_s010_SCM2

oracle   32175  0.0  3.4 13250596 857380 ?     Ss   Aug24   0:03 ora_s014_SCM2

1

#ps -eo pmem,pcpu,rss,vsize,args | sort -k 1 -n -r | less

查看進程佔用的實際物理內存(與smem看到實際物理內存大小有出入,這裏解釋一下:SIZE: 進程使用的地址空間, 如果進程映射了100M的內存, 進程的地址空間將報告爲100M內存. 事實上, 這個大小不是一個程序實際使用的內存數. 所以這裏看到的內存跟smem看到的大小有出入)

1

ps -eo size,pid,user,command --sort -size | awk '{ hr=$1/1024 ; printf("%13.2f Mb ",hr) } { for ( x=4 ; x<=NF ; x++ ) { printf("%s ",$x) } print "" }' |cut -d "" -f2 | cut -d "-" -f1

1

ps aux | awk '{print $6/1024 " MB\t\t" $11}' | sort -n

smem命令查看

關於smem命令,這裏不做介紹,直接參考鏈接Linux監控工具介紹系列——smem

1

#smem -rs pss

pmap命令查看

1

2

# ps -ef | grep tomcat

# pmap 32341

1

# pmap -x 32341

The -x option can be used to provide information about the memory allocation and mapping types per mapping. The amount of resident, non-shared anonymous, and locked memory is shown for each mapping。

python腳本查看

網上有個python腳本計算程序或進程的內存使用情況,地址位於https://raw.githubusercontent.com/pixelb/ps_mem/master/ps_mem.py

python ps_mem.py

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

[root@mylnx03 ~]# python ps_mem.py -h

Usage: ps_mem [OPTION]...

Show program core memory usage

  

  -h, -help                   Show this help

  -p <pid>[,pid2,...pidN]     Only show memory usage PIDs in the specified list

  -s, --split-args            Show and separate by, all command line arguments

  -t, --total                 Show only the total value

  -d, --discriminate-by-pid   Show by process rather than by program

  -S, --swap                  Show swap information

  -w <N>                      Measure and show process memory every N seconds

[root@mylnx03 ~]# python ps_mem.py  -p 32341

 Private  +   Shared  =  RAM used       Program

  

411.2 MiB + 184.0 KiB = 411.4 MiB       java

---------------------------------

                        411.4 MiB

=================================

參考資料:

  • https://stackoverflow.com/questions/131303/how-to-measure-actual-memory-usage-of-an-application-or-process

  • http://www.cnblogs.com/kerrycode/p/5079319.html

  • https://raw.githubusercontent.com/pixelb/ps_mem/master/ps_mem.py

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章