Prometheus監控cpu+disk+filesystem+memory+network資源

1.概念

名詞	解釋
CPU利用率	CPU的使用情況
用戶時間 (User time)	表示CPU執行用戶進程的時間，包括nices時間。通常期望用戶空間CPU越高越好
系統時間 (System time)	表示CPU在內核運行時間，包括IRQ和softirq時間。系統CPU佔用率高，表明系統某部分存在瓶頸。通常值越低越好
等待時間 (Waiting time)	CPU在等待I/O操作完成所花費的時間。系統不應該花費大量時間來等待I/O操作，否則就說明I/O存在瓶頸
空閒時間 (Idle time)	系統處於空閒期，等待進程運行
Nice時間 (Nice time)	系統調整進程優先級所花費的時間
硬中斷處理時間 (HardIrq time)	系統處理硬中斷所花費的時間
軟中斷處理時間 (SoftIrq time)	系統處理軟中斷中斷所花費的時間
丟失時間 (Steal time)	被強制等待（involuntary wait）虛擬CPU的時間，此時hypervisor在爲另一個虛擬處理器服務

2.CPU

2.1 查看node_exporter採集cpu數據

cpu
curl http://IP:9100/metrics | grep cpu | grep -Ev “^$|#”

node_cpu_seconds_total{cpu="0",mode="idle"} 513260.82
node_cpu_seconds_total{cpu="0",mode="iowait"} 172.83
node_cpu_seconds_total{cpu="0",mode="irq"} 0
node_cpu_seconds_total{cpu="0",mode="nice"} 0.35
node_cpu_seconds_total{cpu="0",mode="softirq"} 29.62
node_cpu_seconds_total{cpu="0",mode="steal"} 0
node_cpu_seconds_total{cpu="0",mode="system"} 731.93
node_cpu_seconds_total{cpu="0",mode="user"} 869.46
......

後面的數字是cpu的使用時間

2.2 Prometheus 頁面查詢

2.2.1 CPU 在每種模式下工作的秒數

顯示所有節點 CPU 在每種模式下工作的秒數

node_cpu_seconds_total{cpu=“0”,mode=“idle”} 513260.82
表示節點的 CPU 第0核 的空閒時間共計 513260.82 秒，數值從系統開機時算起，重啓歸零

node_cpu_seconds_total

2.2.2 獲取cpu衆多值中的一個

如何獲取cpu衆多值中的一個？例如idle(空閒cpu)
表達式 (key的過濾是通過 { } 實現的 )

node_cpu_seconds_total{mode=“idle”}

2.2.3 獲取1m中內的數據變化通過increase()

increase(node_cpu_seconds_total{mode=“idle”}[1m])

2.2.4 獲取1m中內的數據變化和

sum(increase(node_cpu_seconds_total{mode=“idle”}[1m]))

2.2.5 獲取1m中內指定job的數據變化和

sum(increase(node_cpu_seconds_total{job=“manager.rancher”,mode=“idle”}[1m]))

2.2.6 將sum加和一起的數值按照指定的方式進行一層拆分

sum(increase(node_cpu_seconds_total{mode=“idle”}[1m])) by(instance)

2.2.7 獲取空閒cpu 1m的百分比

sum(increase(node_cpu_seconds_total{mode=“idle”}[1m])) by(instance) /sum(increase(node_cpu_seconds_total[1m])) by(instance)
或
(sum(increase(node_cpu_seconds_total{mode=“idle”}[1m])) by(instance) /sum(increase(node_cpu_seconds_total[1m])) by(instance) )

2.2.8 獲取非空閒cpu 1m的百分比

(1- (sum(increase(node_cpu_seconds_total{mode=“idle”}[1m])) by(instance) /sum(increase(node_cpu_seconds_total[1m])) by(instance)))*100

2.2.9 獲取 user 1m內cpu使用率

(sum(increase(node_cpu_seconds_total{mode=“user”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance))*100
或
((sum(increase(node_cpu_seconds_total{mode=“user”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance)))*100

2.2.10 獲取sys 1m內cpu使用率

(sum(increase(node_cpu_seconds_total{mode=“system”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance))*100
或
((sum(increase(node_cpu_seconds_total{mode=“system”}[1m])) by(instance) / sum(increase(node_cpu_seconds_total[1m])) by(instance)))*100

3.DISK

3.1 查看node_exporter採集disk數據

disk
curl http://IP:9100/metrics | grep disk | grep -Ev “^$|#”

node_disk_io_now{device="dm-0"} 0
node_disk_io_now{device="dm-1"} 0
node_disk_io_now{device="sda"} 0
node_disk_io_now{device="sr0"} 0
node_disk_io_time_seconds_total{device="dm-0"} 3995.319
node_disk_io_time_seconds_total{device="dm-1"} 1.667
node_disk_io_time_seconds_total{device="sda"} 4007.9010000000003
node_disk_io_time_seconds_total{device="sr0"} 0.221
node_disk_io_time_weighted_seconds_total{device="dm-0"} 32524.68
node_disk_io_time_weighted_seconds_total{device="dm-1"} 1.825
node_disk_io_time_weighted_seconds_total{device="sda"} 31310.613
node_disk_io_time_weighted_seconds_total{device="sr0"} 0.289
......

3.2 Prometheus 頁面查詢

3.2.1 磁盤 1m 讀取速率

irate(node_disk_reads_completed_total[1m])

3.2.2 磁盤 1m 寫入速率

irate(node_disk_writes_completed_total[1m])

3.2.3 磁盤 1m 讀延遲(ms)

irate(node_disk_read_time_seconds_total[1m])

3.2.4 磁盤 1m 寫延遲(ms)

irate(node_disk_write_time_seconds_total[1m])

4.FILESYSTEM

4.1 查看node_exporter採集filesystem數據

filesystem
curl http://IP:9100/metrics | grep filesystem | grep -Ev “^$|#”

node_filesystem_files{device="/dev/loop0",fstype="iso9660",mountpoint="/rootfs/media/centos7"} 0
node_filesystem_files{device="/dev/mapper/centos-root",fstype="xfs",mountpoint="/etc/hostname"} 5.28224256e+08
node_filesystem_files{device="/dev/mapper/centos-root",fstype="xfs",mountpoint="/etc/hosts"} 5.28224256e+08
node_filesystem_files{device="/dev/mapper/centos-root",fstype="xfs",mountpoint="/etc/resolv.conf"} 5.28224256e+08
node_filesystem_files{device="/dev/mapper/centos-root",fstype="xfs",mountpoint="/rootfs"} 5.28224256e+08
node_filesystem_files{device="/dev/sda2",fstype="xfs",mountpoint="/rootfs/boot"} 256000
node_filesystem_files{device="nfsd",fstype="nfsd",mountpoint="/host/proc/fs/nfsd"} 0
node_filesystem_files{device="nfsd",fstype="nfsd",mountpoint="/rootfs/proc/fs/nfsd"} 0
node_filesystem_files{device="rootfs",fstype="rootfs",mountpoint="/"} 5.28224256e+08
node_filesystem_files{device="tmpfs",fstype="tmpfs",mountpoint="/host/sys/fs/cgroup"} 2.053849e+06
node_filesystem_files{device="tmpfs",fstype="tmpfs",mountpoint="/rootfs/dev/shm"} 2.053849e+06
node_filesystem_files{device="tmpfs",fstype="tmpfs",mountpoint="/rootfs/run"} 2.053849e+06
node_filesystem_files{device="tmpfs",fstype="tmpfs",mountpoint="/rootfs/run/user/0"} 2.053849e+06
node_filesystem_files{device="tmpfs",fstype="tmpfs",mountpoint="/rootfs/sys/fs/cgroup"} 2.053849e+06
......

4.2 Prometheus 頁面查詢

4.2.1 硬盤空間百分比

((node_filesystem_size_bytes{mountpoint ="/"} - node_filesystem_free_bytes{mountpoint ="/"}) / node_filesystem_size_bytes{mountpoint ="/"})*100

4.2.2 硬盤百分比

((node_filesystem_size_bytes - node_filesystem_free_bytes) / node_filesystem_size_bytes)*100

5.MEMORY

5.1 查看node_exporter採集memory數據

memory
curl http://IP:9100/metrics | grep memory | grep -Ev “^$|#”

node_memory_Active_bytes 2.446708736e+09
node_memory_Active_file_bytes 1.618874368e+09
node_memory_AnonHugePages_bytes 3.69098752e+08
node_memory_AnonPages_bytes 8.2724864e+08
node_memory_Bounce_bytes 0
node_memory_Buffers_bytes 1.019904e+07
node_memory_Cached_bytes 4.11009024e+09
node_memory_CommitLimit_bytes 8.412565504e+09
node_memory_Committed_AS_bytes 3.562274816e+09
node_memory_DirectMap1G_bytes 1.2884901888e+10
node_memory_DirectMap2M_bytes 6.209667072e+09
node_memory_DirectMap4k_bytes 2.326528e+08
node_memory_Dirty_bytes 77824
......

5.2 Prometheus 頁面查詢

5.2.1 內存使用率

(1 - (node_memory_MemAvailable_bytes / (node_memory_MemTotal_bytes)))* 100

6.NETWORK

6.1 查看node_exporter採集network數據

network
curl http://IP:9100/metrics | grep network | grep -Ev “^$|#”

node_network_transmit_bytes_total{device="eth0"} 2.3566998e+08
node_network_transmit_bytes_total{device="lo"} 0
node_network_transmit_carrier_total{device="eth0"} 0
node_network_transmit_carrier_total{device="lo"} 0
node_network_transmit_colls_total{device="eth0"} 0
node_network_transmit_colls_total{device="lo"} 0
node_network_transmit_compressed_total{device="eth0"} 0
node_network_transmit_compressed_total{device="lo"} 0
node_network_transmit_drop_total{device="eth0"} 0
node_network_transmit_drop_total{device="lo"} 0
node_network_transmit_errs_total{device="eth0"} 0
node_network_transmit_errs_total{device="lo"} 0
node_network_transmit_fifo_total{device="eth0"} 0
node_network_transmit_fifo_total{device="lo"} 0
node_network_transmit_packets_total{device="eth0"} 68543
node_network_transmit_packets_total{device="lo"} 0
node_network_transmit_queue_length{device="eth0"} 0
node_network_transmit_queue_length{device="lo"} 1
......

6.2 Prometheus 頁面查詢

6.2.1 平均入網（5分鐘內）

irate(node_network_receive_bytes_total[5m])

6.2.2 平均出網（5分鐘內）

irate(node_network_transmit_bytes_total[5m])

參考：
https://my.oschina.net/54188zz/blog/3070563