文章目录
容器化应用资源消耗 ≠ 设备资源消耗
不管是运维监控还是应用性能分析，资源消耗信息都是其中很重要的基础数据。之前，应用独占一台虚拟机或物理机，因此我们仅需要采集该设备的资源信息即可。有很多成熟的方案来支撑。
随着容器化的普及，越来越多的应用会使用 Kubernetes 来进行部署，这样一来一台物理机上可能会运行多个应用。因此，容器化应用资源消耗没办法等同于设备资源消耗。我们需要针对这样的场景来找出新的解决方案。
Prometheus 及其 ProQL
Prometheus 中获取数据通过 query 进行查询，而 query 的写法是满足 ProQL 的语法。
这里大致介绍下 ProQL 的大致规则：
- metrics_name：指标名，即CPU、内存、IO这些具体的指标项；
- metrics_label ：指标标签，即通过标签对某个指标名进行过滤。
- metrics_value ：用指标名+标签查出来的结果。
指标名与指标标签的写法如下：
metrics_name{metrics_label1="xxx", metrics_label2="yyy"}
更详细的资料可以查看官网：https://prometheus.io/docs/prometheus/latest/querying/basics/
Prometheus 中常见资源监控的 query 写法
Pod CPU 利用率
query = sum by(pod_name) (rate(container_cpu_usage_seconds_total{pod_name=~"$pod_name"}[1m])) //CPU使用率，单位%
注：pod_name 可通过下列命令获取：
kubectl get pods
Pod MEM 占用
query = sum by(pod_name) (container_memory_working_set_bytes{pod_name=~"$pod_name"}) / 1048576 //内存使用率，单位MiB
注：pod_name 可通过下列命令获取：
kubectl get pods
Pod GPU 利用率
query = dcgm_gpu_utilization{uuid="$uuid"} //单卡显卡利用率，单位%
注：gpu 的 uuid 可通过下列命令获取：
kubectl exec -it $pod_name -- env|grep NVIDIA_VISIBLE_DEVICES
Pod GPU 显存占用
query = dcgm_fb_used{uuid="$uuid"} //单卡显存，单位MiB
注：gpu 的 uuid 可通过下列命令获取：
kubectl exec -it $pod_name -- env|grep NVIDIA_VISIBLE_DEVICES