nvidia-smi是 Nvidia 顯卡命令行管理套件，基於 NVML 庫，旨在管理和監控 Nvidia GPU 設備。
nvidia-smi 的輸出
這是 nvidia-smi 命令的輸出，其中最重要的兩個指標：
顯存佔用
GPU 利用率
顯存佔用和 GPU 利用率是兩個不一樣的東西，顯卡是由 GPU 計算單元和顯存等組成的，顯存和 GPU 的關係有點類似於內存和 CPU 的關係。
這裏推薦一個好用的小工具：gpustat, 直接pip install gpustat即可安裝，gpustat 基於nvidia-smi，可以提供更美觀簡潔的展示，結合 watch 命令，可以動態實時監控 GPU 的使用情況。
watch --color -n1 gpustat -cpu
gpustat 輸出
顯存可以看成是空間，類似於內存。
顯存用於存放模型，數據
顯存越大，所能運行的網絡也就越大
GPU 計算單元類似於 CPU 中的核，用來進行數值計算。衡量計算量的單位是 flop： the number of floating-point multiplication-adds，浮點數先乘後加算一個 flop。計算能力越強大，速度越快。衡量計算能力的單位是 flops： 每秒能執行的 flop 數量
1*2+3 1 flop
1*2 + 3*4 + 4*5 3 flop