一、sysstat簡介
1、sysstat簡介
sysstat提供了Linux性能監控工具集，包括sar、sadf、mpstat、iostat、pidstat等，用於監控Linux系統性能和使用情況。
iostat - 提供CPU統計，存儲I/O統計（磁盤設備，分區及網絡文件系統）
mpstat - 提供單個或組合CPU相關統計
pidstat - 提供Linux進程級別統計：I/O、CPU、內存等
sar - 收集、報告、保存系統活動信息：CPU、內存、磁盤、中斷、網絡接口、TTY、內核表等
sadc - 系統活動數據收集器，作爲sar後端使用
sa1 - 收集系統活動日常數據，並二進制格式存儲，它作爲sadc的工具的前端，可以通過cron來調用
sa2 - 生成系統每日活動報告，同樣可作爲sadc的工具的前端，可以通過cron來調用
sadf - 可以以CSV、XML格式等顯示sar收集的性能數據，這樣非常方便的將系統數據導入到數據庫中，或導入到Excel中來生成圖表
nfsiostat-sysstat: 提供NFS I/O統計
cifsiostat: 提供CIFS統計
pidstat輸出結果的%wait指標，代表進程等待CPU的時間百分比，systat 11.5.5版本才引入新指標。
2、sysstat安裝
sysstat可以通過yum安裝yum install sysstat
下載源碼sysstat-11.6.6.tar.xz安裝：http://sebastien.godard.pagesperso-orange.fr/download.html
編譯選項配置：configure
編譯：make
安裝：sudo make install
二、mpstat
1、mpstat簡介
mpstat是一個常用的多核CPU性能分析工具，用來實時查看每個CPU的性能指標以及所有CPU的平均指標，數據文件/proc/stat。
mpstat是Multiprocessor Statistics縮寫，是實時系統監控工具。
2、mpstat命令
mpstat [-P {cpu|ALL}] [internal [count]]
-P {cpu l ALL}：表示監控的CPU， cpu在[0,cpu個數-1]中取值
internal：相鄰的兩次採樣的間隔時間
count：採樣的次數，count只能和delay一起使用
3、mpstat指標展示
CPU：處理器ID
%usr：在internal時間段裏，用戶態CPU時間，不包含nice值爲負的進程
%nice：在internal時間段裏，nice值爲負進程的CPU時間。
%sys：在internal時間段裏，內核太的CPU時間。
%iowait：internal時間段裏，硬盤IO等待時間。
%irq：在internal時間段裏，硬中斷時間。
%soft：在internal時間段裏，軟中斷時間。
%steal：顯示虛擬機管理器在服務另一個虛擬處理器時虛擬CPU處在非自願等待下花費時間的百分比。
%guest：顯示運行虛擬處理器時CPU花費時間的百分比。
%idle：在internal時間段裏，CPU除去等待磁盤IO操作外的因爲任何原因而空閒的時間閒置時間。
三、sar
1、sar簡介
sar（System Activity Reporter，系統活動情況報告）是Linux最爲全面的系統性能分析工具之一，可以從多方面對系統的活動進行報告，包括：文件的讀寫情況、系統調用的使用情況、磁盤IO、CPU效率、內存使用狀況、進程活動及IPC有關的活動等。
2、sar命令
sar [options] [-A] [-o file] t [n]
-A：所有報告的總和
-u：輸出CPU使用情況的統計信息
-v：輸出inode、文件和其他內核表的統計信息
-d：輸出每一個塊設備的活動信息
-r：輸出內存和交換空間的統計信息
-b：顯示IO和傳送速率的統計信息
-a：文件讀寫情況
-c：輸出進程統計信息，每秒創建的進程數
-R：輸出內存頁面的統計信息
-y：終端設備活動情況
-w：輸出系統交換活動信息
3、sar常用命令
（1）CPU資源監控
CPU：all表示統計信息爲所有CPU的平均值。
%user：顯示在用戶級別(application)運行使用CPU總時間的百分比。
%nice：顯示在用戶級別，用於nice操作，所佔用CPU總時間的百分比。
%system：在內核態運行所使用CPU總時間的百分比。
%iowait：顯示用於等待IO操作佔用CPU總時間的百分比。
%steal：管理程序(hypervisor)爲另一個虛擬進程提供服務而等待虛擬CPU的百分比。
%idle：顯示CPU空閒時間佔用CPU總時間的百分比。sar -u -f test
查看二進制文件test內容
（2）文件監控
每10秒採樣一次，連續採樣3次，觀察覈心表的狀態sar -v 10 3
dentunusd：目錄高速緩存中未被使用的條目數量
file-nr：文件句柄（file handle）的使用數量
inode-nr：索引節點句柄（inode handle）的使用數量
pty-nr：使用pty數量
（3）內存和交換空間監控sar -r 10 3
每10秒採樣一次，連續採樣3次，監控內存分頁
kbmemfree：可用內存大小，不包括buffer和cache的空間。
kbmemused：已用內存大小，包括buffer和cache的空間.
%memused：kbmemused和內存總量(不包括swap)的一個百分比。
kbbuffers：
kbcached：
kbcommit：保證當前系統所需要的內存，即爲了確保不溢出而需要的內存(RAM+swap)。
%commit：kbcommit與內存總量(包括swap)的一個百分比。
（4）內存分頁監控sar -B 10 3
每10秒採樣一次，連續採樣3次，監控內存分頁
pgpgin/s：表示每秒從磁盤或SWAP置換到內存的字節數(KB)
pgpgout/s：表示每秒從內存置換到磁盤或SWAP的字節數(KB)
fault/s：每秒鐘系統產生的缺頁數,即主缺頁與次缺頁之和(major + minor)
majflt/s：每秒鐘產生的主缺頁數.
pgfree/s：每秒被放入空閒隊列中的頁個數
pgscank/s：每秒被kswapd掃描的頁個數
pgscand/s：每秒直接被掃描的頁個數
pgsteal/s：每秒鐘從cache中被清除來滿足內存需要的頁個數
%vmeff：每秒清除的頁(pgsteal)佔總掃描頁(pgscank+pgscand)的百分比
（5）IO監控sar -b 10 3
每10秒採樣一次，連續採樣3次，報告緩衝區的使用情況
tps：每秒鐘物理設備的 I/O 傳輸總量
rtps：每秒鐘從物理設備讀入的數據總量
wtps：每秒鐘向物理設備寫入的數據總量
bread/s：每秒鐘從物理設備讀入的數據量，單位爲 塊/s
bwrtn/s：每秒鐘向物理設備寫入的數據量，單位爲 塊/s
（6）進程隊列和平均負載監控sar -q 10 3
每10秒採樣一次，連續採樣3次，監控進程隊列長度和平均負載狀態
runq-sz：運行隊列的長度（等待運行的進程數）
plist-sz：進程列表中進程（processes）和線程（threads）的數量
ldavg-1：最後1分鐘的系統平均負載（System load average）
ldavg-5：過去5分鐘的系統平均負載
ldavg-15：過去15分鐘的系統平均負載
（7）系統交換信息監控sar -w 10 3
每10秒採樣一次，連續採樣3次，監控系統交換活動信息
（8）設備使用情況監控sar -d -p 10 3
每10秒採樣一次，連續採樣3次，報告設備使用情況
DEV：設備名稱
tps:每秒從物理磁盤I/O的次數。多個邏輯請求會被合併爲一個IO磁盤請求，一次傳輸的大小是不確定的。
rd_sec/s：每秒讀扇區的次數。
wr_sec/s：每秒寫扇區的次數。
avgrq-sz：平均每次設備IO操作的數據大小(扇區)。
avgqu-sz：磁盤請求隊列的平均長度。
await：從請求磁盤操作到系統完成處理,每次請求的平均消耗時間，包括請求隊列等待時間，單位是毫秒。
svctm：系統處理每次請求的平均時間，不包括在請求隊列中消耗的時間。
%util：IO請求佔CPU的百分比，比率越大說明越飽和。
（9）網卡監控sar –n DEV 1 4
-n參數選項：DEV | EDEV | NFS | NFSD | SOCK | ALL 。DEV顯示網絡接口信息，EDEV顯示關於網絡錯誤的統計數據，NFS統計活動的NFS客戶端的信息，NFSD統計NFS服務器的信息，SOCK顯示套 接字信息，ALL顯示所有。
IFACE：LAN接口
rxpck/s：每秒鐘接收的數據包
txpck/s：每秒鐘發送的數據包
rxbyt/s：每秒鐘接收的字節數
txbyt/s：每秒鐘發送的字節數
rxcmp/s：每秒鐘接收的壓縮數據包
txcmp/s：每秒鐘發送的壓縮數據包
rxmcst/s：每秒鐘接收的多播數據包
四、pidstat
1、pidstat簡介
pidstat是sysstat的一個命令，用於監控全部或指定進程的CPU、內存、線程、設備IO等系統資源的佔用情況。Pidstat第一次採樣顯示自系統啓動開始的各項統計信息，後續採樣將顯示自上次運行命令後的統計信息。用戶可以通過指定統計的次數和時間來獲得所需的統計信息。
2、pidstat命令
pidstat [ 選項 ] [ <時間間隔> ] [ <次數> ]
-u：默認參數，顯示各進程的CPU使用統計
-r：顯示各進程的內存使用統計
-d：顯示各進程的IO使用情況
-p：指定進程號
-w：顯示每個進程的上下文切換情況
-t：顯示選擇任務的線程的統計信息外的額外信息
-T { TASK | CHILD | ALL }：指定pidstat監控的內容。TASK表示報告獨立的task，CHILD表示報告進程下所有線程統計信息，ALL表示報告獨立的task和task下的所有線程。
-V：版本號
-h：在一行上顯示所有活動。
-I：在SMP環境，表示任務的CPU使用率/內核數量
-l：顯示命令名和所有參數
3、pidstat常用命令
（1）查看所有進程的CPU使用情況
pidstat
pidstat -u -p ALL
PID：進程ID
%usr：進程在用戶空間佔用CPU的百分比
%system：進程在內核空間佔用CPU的百分比
%guest：進程在虛擬機佔用CPU的百分比
%CPU：進程佔用CPU的百分比
CPU：運行進程的CPU
Command：當前進程對應的命令
（2）查看所有進程的CPU使用情況pidstat -r
PID：進程標識符
minflt/s：任務每秒發生的次要錯誤，不需要從磁盤中加載頁
majflt/s：任務每秒發生的主要錯誤，需要從磁盤中加載頁
VSZ：虛擬地址大小，虛擬內存的使用KB
RSS：常駐集合大小，非交換區五里內存使用KB
Command：task命令名
（3）查看所有進程的IO使用情況pidstat -d
PID：進程id
kB_rd/s：每秒從磁盤讀取的KB
kB_wr/s：每秒寫入磁盤KB
kB_ccwr/s：任務取消的寫入磁盤的KB。當任務截斷髒的pagecache的時候會發生。
COMMAND：task的命令名
（4）查看所有進程的上下文切換情況pidstat -w
PID：進程id
Cswch/s：每秒主動任務上下文切換數量
Nvcswch/s：每秒被動任務上下文切換數量
Command：命令名
（5）查看進程的線程統計信息pidstat -t
TGID：主線程的標識
TID：線程id
%usr：進程在用戶空間佔用CPU的百分比
%system：進程在內核空間佔用CPU的百分比
%guest：進程在虛擬機佔用CPU的百分比
%CPU：進程佔用CPU的百分比
CPU：運行進程的CPU
Command：當前進程對應的命令pidstat -T ALL -p 13671
PID：進程id
msr-ms：任務和子線程在用戶級別使用的毫秒數。
system-ms：任務和子線程在系統級別使用的毫秒數。
guest-ms：任務和子線程在虛擬機(running a virtual processor)使用的毫秒數。
Command：命令名
五、iostat
1、iostat簡介
iostat是IO statistics（輸入/輸出統計）縮寫，系統級別的IO監控，用於對系統磁盤操作活動進行監視，特點是彙報磁盤活動統計情以及CPU使用情況，缺點是不能對某個進程進行深入分析，只能對系統整體情況進行分析。
2、iostat命令
iostat [ options ] [ <interval> [ <count> ] ]
-c：僅顯示顯示CPU使用情況；
-d：僅顯示顯示設備利用率；
-k：顯示狀態以千字節每秒爲單位，而不使用塊每秒；
-m：顯示狀態以兆字節每秒爲單位；
-p：顯示塊設備和所有被使用的其他分區的狀態；
-t：顯示每個報告產生時的時間；
-V：顯示版號並退出；
-x：顯示擴展狀態。
3、iostat指標展示
%user：CPU處在用戶模式下的時間百分比。
%nice：CPU處在帶NICE值的用戶模式下的時間百分比。
%system：CPU處在系統模式下的時間百分比。
%iowait：CPU等待輸入輸出完成時間的百分比。
%steal：管理程序維護另一個虛擬處理器時，虛擬CPU的無意識等待時間百分比。
%idle：CPU空閒時間百分比。
tps：設備每秒的傳輸次數。
kB_read/s：每秒從設備（drive expressed）讀取的數據量；
kB_wrtn/s：每秒向設備（drive expressed）寫入的數據量；
kB_read：讀取的總數據量；
kB_wrtn：寫入的總數量數據量；iostat -d -x -k 1 2
每隔1秒輸出磁盤IO的詳細情況，總共採樣2次。
rrqm/s: 每秒對該設備的讀請求被合併次數，文件系統會對讀取同塊(block)的請求進行合併
wrqm/s: 每秒對該設備的寫請求被合併次數
r/s: 每秒完成的讀次數
w/s: 每秒完成的寫次數
rkB/s: 每秒讀數據量(kB爲單位)
wkB/s: 每秒寫數據量(kB爲單位)
avgrq-sz:平均每次IO操作的數據量(扇區數爲單位)
avgqu-sz: 平均等待處理的IO請求隊列長度
await: 平均每次IO請求等待時間(包括等待時間和處理時間，毫秒爲單位)
svctm: 平均每次IO請求的處理時間(毫秒爲單位)
%util: 採用週期內用於IO操作的時間比率，即IO隊列非空的時間比率
六、vmstat
1、vmstat簡介
vmstat(Virtual Meomory Statistics)是Linux中監控內存的常用工具，可對操作系統的虛擬內存、進程、CPU等的整體情況進行監視。
2、vmstat命令
vmstat [options] [delay [count]]
-a：顯示活躍和非活躍內存
-f：顯示從系統啓動至今的fork數量。
-m：顯示slabinfo
-n：只在開始時顯示一次各字段名稱。
-s：顯示內存相關統計信息及多種系統活動數量。
delay：刷新時間間隔。如果不指定，只顯示一條結果。
count：刷新次數。如果不指定刷新次數，但指定刷新間隔，會一直刷新。
-d：顯示磁盤相關統計信息。
-p：顯示指定磁盤分區統計信息。
-S：指定單位顯示，k、K、m、M分別代表1000、1024、1000000、1048576字節，默認單位爲K。
-V：顯示vmstat版本信息。
vmstat [-a] [-n] [-S unit] [delay [ count]]
vmstat [-s] [-n] [-S unit]
vmstat [-m] [-n] [delay [ count]]
vmstat [-d] [-n] [delay [ count]]
vmstat [-p disk partition] [-n] [delay [ count]]
vmstat [-f]
vmstat [-V]
vmstat [options] [delay [count]]
delay：數據採樣間隔。如果不指定，返回開啓啓動以來的均值。
count：刷新數據次數。如果指定delay，但不指定connt，默認一直刷新。vmstat interval times
每隔interval秒採樣一次，共採樣times次。
3、vmstat常用命令
procs：r列顯示等待CPU的進程數量，b列顯示正在不可中斷休眠（等待IO）的進程數量。
memory：swapd列顯示被換出磁盤（頁面交換）的塊的數量，free列顯示空閒的（未被使用）塊的數量，buff顯示正在被用作緩衝區的數量，cache列顯示正在被用作操作系統的緩存的數量。
swap：顯示交換活動：每秒有多少塊正在被換入（從磁盤）和換出（到磁盤）。
io：顯示多少塊從塊設備讀取（bi）和寫出（bo）,通常反映了硬盤IO。
system顯示每秒中斷(in)和上下文切換（cs）的數量。
cpu顯示所有的cpu時間花費在各類操作的百分比，包括執行用戶代碼（非內核），執行系統代碼（內核），空閒以及等待IO。