Linux性能監控

衡量CPU性能的指標：

1，用戶使用CPU的情況；
CPU運行常規用戶進程
CPU運行niced process
CPU運行實時進程

2，系統使用CPU情況；
用於I/O管理：中斷和驅動
用於內存管理：頁面交換
用戶進程管理：進程開始和上下文切換

3，WIO：用於進程等待磁盤I/O而使CPU處於空閒狀態的比率。

4，CPU的空閒率，除了上面的WIO以外的空閒時間

5，CPU用於上下文交換的比率

6，nice

7，real-time

8，運行進程隊列的長度

9，平均負載

Linux中常用的監控CPU整體性能的工具有：

 mpstat： mpstat 不但能查看所有CPU的平均信息，還能查看指定CPU的信息。

vmstat：只能查看所有CPU的平均信息；查看cpu隊列信息；

iostat: 只能查看所有CPU的平均信息。

sar： 與mpstat 一樣，不但能查看CPU的平均信息，還能查看指定CPU的信息。

 top：顯示的信息同ps接近，但是top可以瞭解到CPU消耗，可以根據用戶指定的時間來更新顯示。

下面一一介紹：

一，vmstat

[root@localhost ~]#vmstat -n 3       (每個3秒刷新一次）
procs-----------memory--------------------swap-- ----io---- --system---- ------cpu--------
r b   swpd   free       buff       cache       si   so    bi    bo   in      cs        us   sy   id  wa
10    144 186164 105252 2386848    0    0     18   166  83     2          48   21  31  0
20    144 189620 105252 2386848    0    0      0   177  1039 1210   34   10  56  0
00    144 214324 105252 2386848    0    0      0    10   1071   670    32   5    63  0
00    144 202212 105252 2386848    0    0      0   189   1035   558    20   3    77  0
20    144 158772 105252 2386848    0    0      0   203  1065 2832    70  14  15  0

紅色內容標示CPU相關的參數

PROC(ESSES)

--r:如果在processes中運行的序列(process r)是連續的大於在系統中的CPU的個數表示系統現在運行比較慢,有多數的進程等待CPU.
如果r的輸出數大於系統中可用CPU個數的4倍的話,則系統面臨着CPU短缺的問題,或者是CPU的速率過低,系統中有多數的進程在等待CPU,造成系統中進程運行過慢.

SYSTEM
--in:每秒產生的中斷次數
--cs:每秒產生的上下文切換次數
上面2個值越大，會看到由內核消耗的CPU時間會越大

 

CPU
-us:用戶進程消耗的CPU時間百分
us的值比較高時，說明用戶進程消耗的CPU時間多，但是如果長期超50%的使用，那麼我們就該考慮優化程序算法或者進行加速（比如PHP/PERL）
-sy:內核進程消耗的CPU時間百分比（sy的值高時，說明系統內核消耗的CPU資源多，這並不是良性表現，我們應該檢查原因）

-wa:IO等待消耗的CPU時間百分比
wa的值高時，說明IO等待比較嚴重，這可能由於磁盤大量作隨機訪問造成，也有可能磁盤出現瓶頸（塊操作）。
-id:CPU處於空閒狀態時間百分比,如果空閒時間(cpu id)持續爲0並且系統時間(cpu sy)是用戶時間的兩倍(cpu us) 系統則面臨着CPU資源的短缺. 

 解決辦法:
當發生以上問題的時候請先調整應用程序對CPU的佔用情況.使得應用程序能夠更有效的使用CPU.同時可以考慮增加更多的CPU.  關於CPU的使用情況還可以結合mpstat,  ps aux top  prstat –a等等一些相應的命令來綜合考慮關於具體的CPU的使用情況,和那些進程在佔用大量的CPU時間.一般情況下，應用程序的問題會比較大一些.比如一些SQL語句不合理等等都會造成這樣的現象.

 

二，sar
sar [options] [-A] [-o file] t [n]

在命令行中，n 和t 兩個參數組合起來定義採樣間隔和次數，t爲採樣間隔，是必須有
的參數，n爲採樣次數，是可選的，默認值是1，-o file表示將命令結果以二進制格式
存放在文件中，file 在此處不是關鍵字，是文件名。options 爲命令行選項，sar命令
的選項很多，下面只列出常用選項：

-A：所有報告的總和。
-u：CPU利用率
-v：進程、I節點、文件和鎖表狀態。
-d：硬盤使用報告。
-r：內存和交換空間的使用統計。
-g：串口I/O的情況。
-b：緩衝區使用情況。
-a：文件讀寫情況。
-c：系統調用情況。
-q：報告隊列長度和系統平均負載
-R：進程的活動情況。
-y：終端設備活動情況。
-w：系統交換活動。
-x { pid | SELF | ALL }：報告指定進程ID的統計信息，SELF關鍵字是sar進程本身的統計，ALL關鍵字是所有系統進程的統計。

用sar進行CPU利用率的分析

#sar -u 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain)  03/28/2009

07:40:17 PM       CPU     %user     %nice   %system   %iowait    %steal     %idle
07:40:19 PM       all         12.44      0.00         6.97          1.74         0.00        78.86
07:40:21 PM       all         26.75      0.00        12.50         16.00       0.00        44.75
07:40:23 PM       all         16.96      0.00         7.98          0.00         0.00        75.06
07:40:25 PM       all         22.50      0.00         7.00          3.25         0.00        67.25
07:40:27 PM       all         7.25        0.00         2.75          2.50         0.00        87.50
07:40:29 PM       all         20.05      0.00         8.56          2.93         0.00        68.46
07:40:31 PM       all         13.97      0.00         6.23          3.49         0.00        76.31
07:40:33 PM       all         8.25        0.00         0.75          3.50         0.00        87.50
07:40:35 PM       all         13.25      0.00         5.75          4.00         0.00        77.00
07:40:37 PM       all         10.03      0.00         0.50          2.51         0.00        86.97
Average:             all         15.15      0.00         5.91          3.99         0.00        74.95

 

在顯示內容包括：

　　%user：CPU處在用戶模式下的時間百分比。

        %nice：CPU處在帶NICE值的用戶模式下的時間百分比。
　　%system：CPU處在系統模式下的時間百分比。
　　%iowait：CPU等待輸入輸出完成時間的百分比。

        %steal：管理程序維護另一個虛擬處理器時，虛擬CPU的無意識等待時間百分比。
　　%idle：CPU空閒時間百分比。

        在所有的顯示中，我們應主要注意%iowait和%idle，%iowait的值過高，表示硬盤存在I/O瓶頸，%idle值高，表示CPU較空閒，如果%idle值高但系統響應慢時，有可能是CPU等待分配內存，此時應加大內存容量。%idle值如果持續低於10，那麼系統的CPU處理能力相對較低，表明系統中最需要解決的資源是CPU。

 

用sar進行運行進程隊列長度分析：

#sar -q 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain)  03/28/2009

07:58:14 PM   runq-sz  plist-sz   ldavg-1   ldavg-5  ldavg-15
07:58:16 PM         0         493          0.64        0.56        0.49
07:58:18 PM         1         491          0.64        0.56        0.49
07:58:20 PM         1         488          0.59        0.55        0.49
07:58:22 PM         0         487          0.59        0.55        0.49
07:58:24 PM         0         485          0.59        0.55        0.49
07:58:26 PM         1         483          0.78        0.59        0.50
07:58:28 PM         0         481          0.78        0.59        0.50
07:58:30 PM         1         480          0.72        0.58        0.50
07:58:32 PM         0         477          0.72        0.58        0.50
07:58:34 PM         0         474          0.72        0.58        0.50
Average:               0         484          0.68        0.57        0.49

 

runq-sz 準備運行的進程運行隊列。
plist-sz  進程隊列裏的進程和線程的數量
ldavg-1  前一分鐘的系統平均負載(load average)
ldavg-5  前五分鐘的系統平均負載(load average)
ldavg-15  前15分鐘的系統平均負載(load average)

 

順便說一下load avarage的含義

load average可以理解爲每秒鐘CPU等待運行的進程個數.

在Linux系統中，sar -q、uptime、w、top等命令都會有系統平均負載load average的輸出，那麼什麼是系統平均負載呢？
　　系統平均負載被定義爲在特定時間間隔內運行隊列中的平均任務數。如果一個進程滿足以下條件則其就會位於運行隊列中：
　　- 它沒有在等待I/O操作的結果
　　- 它沒有主動進入等待狀態(也就是沒有調用'wait')
　　- 沒有被停止(例如：等待終止)
　　例如：
# uptime
　　20:55:40 up 24 days,  3:06,  1 user,  load average: 8.13, 5.90, 4.94
　　命令輸出的最後內容表示在過去的1、5、15分鐘內運行隊列中的平均進程數量。
　　一般來說只要每個CPU的當前活動進程數不大於3那麼系統的性能就是良好的，如果每個CPU的任務數大於5，那麼就表示這臺機器的性能有嚴重問題。對 於上面的例子來說，假設系統有兩個CPU，那麼其每個CPU的當前任務數爲：8.13/2=4.065。這表示該系統的性能是可以接受的。

 

三，iostat

 

#iostat -c 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain)  03/28/2009

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
                    30.10    0.00          4.89         5.63    0.00   59.38

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
                    8.46       0.00          1.74         0.25    0.00   89.55

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
                    22.06     0.00          11.28       1.25    0.00   65.41

 

四，mpstat

mpstat是Multiprocessor Statistics的縮寫，是實時系統監控工具。其報告與CPU的一些統計信息，這些信息存放在/proc/stat文件中。在多CPUs系統裏，其不但能查看所有CPU的平均狀況信息，而且能夠查看特定CPU的信息。下面只介紹 mpstat與CPU相關的參數，mpstat的語法如下：

mpstat [-P {|ALL}] [internal [count]]

參數的含義如下：

參數 解釋

-P {|ALL} 表示監控哪個CPU， cpu在[0,cpu個數-1]中取值

internal 相鄰的兩次採樣的間隔時間

count 採樣的次數，count只能和delay一起使用

當沒有參數時，mpstat則顯示系統啓動以後所有信息的平均值。有interval時，第一行的信息自系統啓動以來的平均信息。從第二行開始，輸出爲前一個interval時間段的平均信息。與CPU有關的輸出的含義如下：

參數 解釋 從/proc/stat獲得數據

CPU 處理器ID

user 在internal時間段裏，用戶態的CPU時間（%） ，不包含 nice值爲負 進程 usr/total*100

nice 在internal時間段裏，nice值爲負進程的CPU時間（%） nice/total*100

system 在internal時間段裏，核心時間（%） system/total*100

iowait 在internal時間段裏，硬盤IO等待時間（%） iowait/total*100

irq 在internal時間段裏，軟中斷時間（%） irq/total*100

soft 在internal時間段裏，軟中斷時間（%） softirq/total*100

idle 在internal時間段裏，CPU除去等待磁盤IO操作外的因爲任何原因而空閒的時間閒置時間 （%） idle/total*100

intr/s 在internal時間段裏，每秒CPU接收的中斷的次數 intr/total*100

CPU總的工作時間=total_cur=user+system+nice+idle+iowait+irq+softirq

total_pre=pre_user+ pre_system+ pre_nice+ pre_idle+ pre_iowait+ pre_irq+ pre_softirq

user=user_cur – user_pre

total=total_cur-total_pre

其中_cur 表示當前值，_pre表示interval時間前的值。上表中的所有值可取到兩位小數點。

#mpstat -P ALL 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain)  03/28/2009

 

10:07:57 PM  CPU   %user   %nice    %sys %iowait    %irq   %soft  %steal   %idle    intr/s
10:07:59 PM  all   20.75    0.00   10.50    1.50    0.25    0.25    0.00   66.75   1294.50
10:07:59 PM    0   16.00    0.00    9.00    1.50    0.00    0.00    0.00   73.50   1000.50
10:07:59 PM    1   25.76    0.00   12.12    1.52    0.00    0.51    0.00   60.10    294.00

 

五，top

top命令和ps命令的基本作用是相同的，顯示系統當前的進程和其它狀況；但是top是 一個動態顯示過程，即可以通過用戶按鍵來不斷刷新當前狀態。如果在前臺執行該命令，它將獨佔前臺，直到用戶終止該程序爲止。比較準確的說，top命令提供 了實時的對系統處理器的狀態監視。它將顯示系統中CPU最“敏感”的任務列表。該命令可以按CPU使用。內存使用和執行時間對任務進行排序；而且該命令的 很多特性都可以通過交互式命令或者在個人定製文件中進行設定。在後面的介紹中將把命令參數和交互命令分開講述。
#top

top - 22:19:58 up 24 days,  4:31,  1 user,  load average: 2.08, 1.88, 1.15
Tasks: 545 total,   7 running, 538 sleeping,   0 stopped,   0 zombie
Cpu(s): 23.2%us,  6.3%sy,  0.0%ni, 69.7%id,  0.5%wa,  0.2%hi,  0.2%si,  0.0%st
Mem:   4141608k total,  3992588k used,   149020k free,   249092k buffers
Swap:  6289352k total,      128k used,  6289224k free,  2604200k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                               
 2746 mysql     15   0  147m  45m 4752 S   24  1.1   6630:02 mysqld                                                                
26630 nobody    25   0 25364  10m 3696 S    7  0.3   0:00.20 httpd                                                                 
24892 nobody    15   0 27012  12m 4044 S    4  0.3   0:00.65 httpd                                                                 
26619 nobody    15   0 27272  12m 3728 S    3  0.3   0:00.10 httpd                                                                 
26626 nobody    23   0 25620  10m 3704 S    3  0.3   0:00.09 httpd                                                                 
26634 nobody    21   0 29716  14m 3576 R    3  0.3   0:00.09 httpd                                                                 
26628 nobody    25   0 25620  10m 3728 S    3  0.3   0:00.08 httpd                                                                 
25448 nobody    15   0 26156  11m 4212 S    2  0.3   0:00.40 httpd                                                                 
23843 nobody    16   0 25900  11m 4116 S    1  0.3   0:00.54 httpd 

 

統計信息區
前五行是系統整體的統計信息。第一行是任務隊列信息，同 uptime 命令的執行結果。其內容如下：

22:19:58當前時間
up 24 days,  4:31系統運行時間，格式爲時:分
1 user當前登錄用戶數
load average: 2.08, 1.88, 1.15系統負載，即任務隊列的平均長度。
三個數值分別爲 1分鐘、5分鐘、15分鐘前到現在的平均值。

第二、三行爲進程和CPU的信息。當有多個CPU時，這些內容可能會超過兩行。內容如下：

Tasks:545total 進程總數
7 running 正在運行的進程數
538sleeping 睡眠的進程數
0 stopped 停止的進程數
0 zombie 殭屍進程數
Cpu(s):23.2%us用戶空間佔用CPU百分比
6.3%sy內核空間佔用CPU百分比
0.0% ni 用戶進程空間內改變過優先級的進程佔用CPU百分比
69.7%id空閒CPU百分比
0.5%wa等待輸入輸出的CPU時間百分比
0.2%hi
0.2%si
0.0%st

最後兩行爲內存信息。內容如下：

Mem:4141608k total物理內存總量
3992588k used使用的物理內存總量
149020k free空閒內存總量
249092k buffers用作內核緩存的內存量
Swap:6289352k total交換區總量
128k used使用的交換區總量
6289224k free空閒交換區總量
2604200k cached緩衝的交換區總量。
內存中的內容被換出到交換區，而後又被換入到內存，但使用過的交換區尚未被覆蓋，
該數值即爲這些內容已存在於內存中的交換區的大小。
相應的內存再次被換出時可不必再對交換區寫入。

進程信息區
統計信息區域的下方顯示了各個進程的詳細信息。首先來認識一下各列的含義。

序號 列名 含義
a PID 進程id
b PPID 父進程id
c RUSER Real user name
d UID 進程所有者的用戶id
e USER 進程所有者的用戶名
f GROUP 進程所有者的組名
g TTY 啓動進程的終端名。不是從終端啓動的進程則顯示爲 ?
h PR 優先級
i NI nice值。負值表示高優先級，正值表示低優先級
j P 最後使用的CPU，僅在多CPU環境下有意義
k %CPU 上次更新到現在的CPU時間佔用百分比
lTIME進程使用的CPU時間總計，單位秒
m TIME+ 進程使用的CPU時間總計，單位1/100秒
n %MEM 進程使用的物理內存百分比
o VIRT 進程使用的虛擬內存總量，單位kb。VIRT=SWAP+RES
p SWAP 進程使用的虛擬內存中，被換出的大小，單位kb。
q RES 進程使用的、未被換出的物理內存大小，單位kb。RES=CODE+DATA
r CODE 可執行代碼佔用的物理內存大小，單位kb
s DATA 可執行代碼以外的部分(數據段+棧)佔用的物理內存大小，單位kb
t SHR 共享內存大小，單位kb
u nFLT 頁面錯誤次數
v nDRT 最後一次寫入到現在，被修改過的頁面數。
w S 進程狀態。
D=不可中斷的睡眠狀態
R=運行
S=睡眠
T=跟蹤/停止
Z=殭屍進程
x COMMAND 命令名/命令行
y WCHAN 若該進程在睡眠，則顯示睡眠中的系統函數名
z Flags 任務標誌，參考 sched.h

默認情況下僅顯示比較重要的 PID、USER、PR、NI、VIRT、RES、SHR、S、%CPU、%MEM、TIME+、COMMAND 列。可以通過下面的快捷鍵來更改顯示內容。

更改顯示內容
通過 f 鍵可以選擇顯示的內容。按 f 鍵之後會顯示列的列表，按 a-z 即可顯示或隱藏對應的列，最後按回車鍵確定。

按 o 鍵可以改變列的顯示順序。按小寫的 a-z 可以將相應的列向右移動，而大寫的 A-Z 可以將相應的列向左移動。最後按回車鍵確定。

按大寫的 F 或 O 鍵，然後按 a-z 可以將進程按照相應的列進行排序。而大寫的 R 鍵可以將當前的排序倒轉。

命令使用

1． 工具（命令）名稱
top
2．工具（命令）作用
顯示系統當前的進程和其他狀況； top是一個動態顯示過程,即可以通過用戶按鍵來不斷刷新當前狀態.如果在前臺執行該命令,它將獨佔前臺,直到用戶終止該程序爲止. 比較準確的說,top命令提供了實時的對系統處理器的狀態監視.它將顯示系統中CPU最“敏感”的任務列表.該命令可以按CPU使用.內存使用和執行時間對任務進行排序；而且該命令的很多特性都可以通過交互式命令或者在個人定製文件中進行設定.
3．環境設置
在Linux下使用。
4．使用方法
4．1使用格式
top [-] [d] [p] [q] [c] [C] [S] [s] [n]
4．2參數說明
d 指定每兩次屏幕信息刷新之間的時間間隔。當然用戶可以使用s交互命令來改變之。
p 通過指定監控進程ID來僅僅監控某個進程的狀態。
q該選項將使top沒有任何延遲的進行刷新。如果調用程序有超級用戶權限，那麼top將以儘可能高的優先級運行。
S 指定累計模式
s 使top命令在安全模式中運行。這將去除交互命令所帶來的潛在危險。
i 使top不顯示任何閒置或者僵死進程。
c 顯示整個命令行而不只是顯示命令名
4.3其他
　　下面介紹在top命令執行過程中可以使用的一些交互命令。從使用角度來看，熟練的掌握這些命令比掌握選項還重要一些。這些命令都是單字母的，如果在命令行選項中使用了s選項，則可能其中一些命令會被屏蔽掉。
　　Ctrl+L 擦除並且重寫屏幕。
　　h或者? 顯示幫助畫面，給出一些簡短的命令總結說明。
　　k 終止一個進程。系統將提示用戶輸入需要終止的進程PID，以及需要發送給該進程什麼樣的信號。一般的終止進程可以使用15信號；如果不能正常結束那就使用信號9強制結束該進程。默認值是信號15。在安全模式中此命令被屏蔽。
　　i 忽略閒置和僵死進程。這是一個開關式命令。
　　q 退出程序。
　　r 重新安排一個進程的優先級別。系統提示用戶輸入需要改變的進程PID以及需要設置的進程優先級值。輸入一個正值將使優先級降低，反之則可以使該進程擁有更高的優先權。默認值是10。
　　S 切換到累計模式。
　　s 改變兩次刷新之間的延遲時間。系統將提示用戶輸入新的時間，單位爲s。如果有小數，就換算成m s。輸入0值則系統將不斷刷新，默認值是5 s。需要注意的是如果設置太小的時間，很可能會引起不斷刷新，從而根本來不及看清顯示的情況，而且系統負載也會大大增加。
　　f或者F 從當前顯示中添加或者刪除項目。
　　o或者O 改變顯示項目的順序。
　　l 切換顯示平均負載和啓動時間信息。
　　m 切換顯示內存信息。
　　t 切換顯示進程和CPU狀態信息。
　　c 切換顯示命令名稱和完整命令行。
　　M 根據駐留內存大小進行排序。
　　P 根據CPU使用百分比大小進行排序。
　　T 根據時間/累計時間進行排序。
W 將當前設置寫入~/.toprc文件中。這是寫top配置文件的推薦方法。