用十條命令在一分鐘內檢查Linux服務器性能
如果你的Linux服務器突然負載暴增，告警短信快發爆你的手機，如何在最短時間內找出Linux性能問題所在？Netflix性能工程團隊的Brendan Gregg寫下了這篇博文，來看他們是怎樣通過十條命令在一分鐘內對機器性能問題進行診斷.
通過執行以下命令，可以在1分鐘內對系統資源使用情況有個大致的瞭解。
1.uptime
>uptime
>19:11:17 up 15 min, 1 user, load average: 0.00, 0.00, 0.00
這個命令可以快速查看機器的負載情況。在Linux系統中，這些數據表示等待CPU資源的進程和阻塞在不可中斷IO進程（進程狀態爲D）的數量。這些數據可以讓我們對系統資源使用有一個宏觀的瞭解。
命令的輸出分別表示1分鐘、5分鐘、15分鐘的平均負載情況。通過這三個數據，可以瞭解服務器負載是在趨於緊張還是區域緩解。如果1分鐘平均負載很高，而15分鐘平均負載很低，說明服務器正在命令高負載情況，需要進一步排查CPU資源都消耗在了哪裏。反之，如果15分鐘平均負載很高，1分鐘平均負載較低，則有可能是CPU資源緊張時刻已經過去。
上面例子中的輸出，可以看見最近1分鐘的平均負載非常高，且遠高於最近15分鐘負載，因此我們需要繼續排查當前系統中有什麼進程消耗了大量的資源。可以通過下文將會介紹的vmstat、mpstat等命令進一步排查
2.dmesg | tail
> dmesg | tail
> e1000 0000:02:01.0: PCI INT A -> GSI 19 (level, low) -> IRQ 19
> e1000 0000:02:01.0: setting latency timer to 64
> e1000 0000:02:01.0: eth0: (PCI:66MHz:32-bit) 00:0c:29:46:3c:34
> e1000 0000:02:01.0: eth0: Intel(R) PRO/1000 Network Connection
> EXT4-fs (sda1): mounted filesystem with ordered data mode. Opts:
> Adding 2031608k swap on /dev/mapper/vg_server-lv_swap. Priority:-1 extents:1 across:2031608k
> NET: Registered protocol family 10
> lo: Disabled Privacy Extensions
> e1000: eth0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
> eth0: no IPv6 routers present
該命令會輸出系統日誌的最後10行。示例中的輸出，可以看見一次內核的oomkill和一次TCP丟包。這些日誌可以幫助排查性能問題。千萬不要忘了這一步。
3.vmstat 1
>procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
> r b swpd free buff cache si so bi bo in cs us sy id wa st
> 0 0 0 909516 6644 28552 0 0 32 1 19 25 0 0 98 2 0
> 0 0 0 909508 6644 28572 0 0 0 0 18 16 0 0 100 0 0
> 0 0 0 909476 6644 28572 0 0 0 0 19 16 0 0 100 0 0
> 0 0 0 909476 6644 28572 0 0 0 0 14 14 0 0 100 0 0
> 0 0 0 909476 6644 28572 0 0 0 0 18 19 0 0 100 0 0
每行會輸出一些系統核心指標，這些指標可以讓我們更詳細的瞭解系統狀態。後面跟的參數1，表示每秒輸出一次統計信息，表頭提示了每一列的含義，這幾介紹一些和性能調優相關的列：
r：等待在CPU資源的進程數。這個數據比平均負載更加能夠體現CPU負載情況，數據中不包含等待IO的進程。如果這個數值大於機器CPU核數，那麼機器的CPU資源已經飽和。
free：系統可用內存數（以千字節爲單位），如果剩餘內存不足，也會導致系統性能問題。下文介紹到的free命令，可以更詳細的瞭解系統內存的使用情況。
si, so：交換區寫入和讀取的數量。如果這個數據不爲0，說明系統已經在使用交換區（swap），機器物理內存已經不足。
us, sy, id, wa, st：這些都代表了CPU時間的消耗，它們分別表示用戶時間（user）、系統（內核）時間（sys）、空閒時間（idle）、IO等待時間（wait）和被偷走的時間（stolen，一般被其他虛擬機消耗）。
上述這些CPU時間，可以讓我們很快了解CPU是否出於繁忙狀態。一般情況下，如果用戶時間和系統時間相加非常大，CPU出於忙於執行指令。如果IO等待時間很長，那麼系統的瓶頸可能在磁盤IO。
示例命令的輸出可以看見，大量CPU時間消耗在用戶態，也就是用戶應用程序消耗了CPU時間。這不一定是性能問題，需要結合r隊列，一起分析。
4.mpstat -P ALL 1
>Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 x86_64 (32 CPU)
>07:38:49 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
>07:38:50 PM all 98.47 0.00 0.75 0.00 0.00 0.00 0.00 0.00 0.00 0.78
>07:38:50 PM 0 96.04 0.00 2.97 0.00 0.00 0.00 0.00 0.00 0.00 0.99
>07:38:50 PM 1 97.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00
>07:38:50 PM 2 98.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00
>07:38:50 PM 3 96.97 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 3.03
該命令可以顯示每個CPU的佔用情況，如果有一個CPU佔用率特別高，那麼有可能是一個單線程應用程序引起的
5.pidstat 1
>Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 x86_64 (32 CPU)
>07:41:02 PM UID PID %usr %system %guest %CPU CPU Command
>07:41:03 PM 0 9 0.00 0.94 0.00 0.94 1 rcuos/0
>07:41:03 PM 0 4214 5.66 5.66 0.00 11.32 15 mesos-slave
>07:41:03 PM 0 4354 0.94 0.94 0.00 1.89 8 Java
>07:41:03 PM 0 6521 1596.23 1.89 0.00 1598.11 27 java
>07:41:03 PM 0 6564 1571.70 7.55 0.00 1579.25 28 java
pidstat命令輸出進程的CPU佔用率，該命令會持續輸出，並且不會覆蓋之前的數據，可以方便觀察系統動態。如上的輸出，可以看見兩個JAVA進程佔用了將近1600%的CPU時間，既消耗了大約16個CPU核心的運算資源
6.iostat -xz 1
>Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 x86_64 (32 CPU)
>avg-cpu: %user %nice %system %iowait %steal %idle
>73.96 0.00 3.73 0.03 0.06 22.21
>Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
>xvda 0.00 0.23 0.21 0.18 4.52 2.08 34.37 0.00 9.98 13.80 5.42 2.44 0.09
>xvdb 0.01 0.00 1.02 8.94 127.97 598.53 145.79 0.00 0.43 1.78 0.28 0.25 0.25
>xvdc 0.01 0.00 1.02 8.86 127.79 595.94 146.50 0.00 0.45 1.82 0.30 0.27 0.26
>dm-0 0.00 0.00 0.69 2.32 10.47 31.69 28.01 0.01 3.23 0.71 3.98 0.13 0.04
>dm-1 0.00 0.00 0.00 0.94 0.01 3.78 8.00 0.33 345.84 0.04 346.81 0.01 0.00
>dm-2 0.00 0.00 0.09 0.07 1.35 0.36 22.50 0.00 2.55 0.23 5.62 1.78 0.03
iostat命令主要用於查看機器磁盤IO情況。該命令輸出的列，主要含義是：
r/s, w/s, rkB/s, wkB/s：分別表示每秒讀寫次數和每秒讀寫數據量（千字節）。讀寫量過大，可能會引起性能問題。
await：IO操作的平均等待時間，單位是毫秒。這是應用程序在和磁盤交互時，需要消耗的時間，包括IO等待和實際操作的耗時。如果這個數值過大，可能是硬件設備遇到了瓶頸或者出現故障。
avgqu-sz：向設備發出的請求平均數量。如果這個數值大於1，可能是硬件設備已經飽和（部分前端硬件設備支持並行寫入）。
%util：設備利用率。這個數值表示設備的繁忙程度，經驗值是如果超過60，可能會影響IO性能（可以參照IO操作平均等待時間）。如果到達100%，說明硬件設備已經飽和。
如果顯示的是邏輯設備的數據，那麼設備利用率不代表後端實際的硬件設備已經飽和。值得注意的是，即使IO性能不理想，也不一定意味這應用程序性能會不好，可以利用諸如預讀取、寫緩存等策略提升應用性能。
7.free –m
>total used free shared buffers cached
>Mem: 245998 24545 221453 83 59 541
>-/+ buffers/cache: 23944 222053
>Swap: 0 0 0
free命令可以查看系統內存的使用情況，-m參數表示按照兆字節展示。最後兩列分別表示用於IO緩存的內存數，和用於文件系統頁緩存的內存數。需要注意的是，第二行-/+ buffers/cache，看上去緩存佔用了大量內存空間。這是Linux系統的內存使用策略，儘可能的利用內存，如果應用程序需要內存，這部分內存會立即被回收並分配給應用程序。因此，這部分內存一般也被當成是可用內存。
如果可用內存非常少，系統可能會動用交換區（如果配置了的話），這樣會增加IO開銷（可以在iostat命令中提現），降低系統性能。
8.sar -n DEV 1
>Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 x86_64 (32 CPU)
>12:16:48 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
>12:16:49 AM eth0 18763.00 5032.00 20686.42 478.30 0.00 0.00 0.00 0.00
>12:16:49 AM lo 14.00 14.00 1.36 1.36 0.00 0.00 0.00 0.00
>12:16:49 AM docker0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
>12:16:49 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
>12:16:50 AM eth0 19763.00 5101.00 21999.10 482.56 0.00 0.00 0.00 0.00
sar命令在這裏可以查看網絡設備的吞吐率。在排查性能問題時，可以通過網絡設備的吞吐量，判斷網絡設備是否已經飽和。如示例輸出中，eth0網卡設備，吞吐率大概在22 Mbytes/s，既176 Mbits/sec，沒有達到1Gbit/sec的硬件上限。
9.sar -n TCP,ETCP 1
>Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 x86_64 (32 CPU)
>12:17:19 AM active/s passive/s iseg/s oseg/s
>12:17:20 AM 1.00 0.00 10233.00 18846.00
>12:17:19 AM atmptf/s estres/s retrans/s isegerr/s orsts/s
>12:17:20 AM 0.00 0.00 0.00 0.00 0.00
>12:17:20 AM active/s passive/s iseg/s oseg/s
>12:17:21 AM 1.00 0.00 8359.00 6039.00
>12:17:20 AM atmptf/s estres/s retrans/s isegerr/s orsts/s
sar命令在這裏用於查看TCP連接狀態，其中包括：
active/s：每秒本地發起的TCP連接數，既通過connect調用創建的TCP連接；
passive/s：每秒遠程發起的TCP連接數，即通過accept調用創建的TCP連接；
retrans/s：每秒TCP重傳數量；
TCP連接數可以用來判斷性能問題是否由於建立了過多的連接，進一步可以判斷是主動發起的連接，還是被動接受的連接。TCP重傳可能是因爲網絡環境惡劣，或者服務器壓力過大導致丟包。
10.top
>top - 00:15:40 up 21:56, 1 user, load average: 31.09, 29.87, 29.92
>Tasks: 871 total, 1 running, 868 sleeping, 0 stopped, 2 zombie
>%Cpu(s): 96.8 us, 0.4 sy, 0.0 ni, 2.7 id, 0.1 wa, 0.0 hi, 0.0 si, 0.0 st
>KiB Mem: 25190241+total, 24921688 used, 22698073+free, 60448 buffers
>KiB Swap: 0 total, 0 used, 0 free. 554208 cached Mem
>PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
>20248 root 20 0 0.227t 0.012t 18748 S 3090 5.2 29812:58 java
>4213 root 20 0 2722544 64640 44232 S 23.5 0.0 233:35.37 mesos-slave
>66128 titancl+ 20 0 24344 2332 1172 R 1.0 0.0 0:00.07 top
5235 root 20 0 38.227g 547004 49996 S 0.7 0.2 2:02.74 java
>4299 root 20 0 20.015g 2.682g 16836 S 0.3 1.1 33:14.42 java
>1 root 20 0 33620 2920 1496 S 0.0 0.0 0:03.82 init
>2 root 20 0 0 0 0 S 0.0 0.0 0:00.02 kthreadd >
>3 root 20 0 0 0 0 S 0.0 0.0 0:05.35 ksoftirqd/0
>5 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0H
top命令包含了前面好幾個命令的檢查的內容。比如系統負載情況（uptime）、系統內存使用情況（free）、系統CPU使用情況（vmstat）等。因此通過這個命令，可以相對全面的查看系統負載的來源。同時，top命令支持排序，可以按照不同的列排序，方便查找出諸如內存佔用最多的進程、CPU佔用率最高的進程等。
但是，top命令相對於前面一些命令，輸出是一個瞬間值，如果不持續盯着，可能會錯過一些線索。這時可能需要暫停top命令刷新，來記錄和比對數據。