小白gpu概述

GPU

之前看到一個用畫師的比喻感覺蠻好的。

• GPU架構 一般來說越新性能越好，架構越好水平越好，類比畫師的水平。
• 流處理器 渲染管，流處理器數量越多，顯卡畫圖的能力越強，速度也越快。一般是同型號比較流處理器個數。類比畫師的個數。
• 核心頻率 頻率越高，效率越高，功耗也越大，畫師工廠的運畫到倉庫的搬運人員其運輸的速率。
• 容量 提供臨時的存儲功能，當然要配合帶寬等，不然大了也浪費。類比畫師工廠倉庫。
• 顯存帶寬 顯存位寬×顯存頻率，顯存位寬類比成公路，公路越寬，一次能通過的車輛越多；顯存頻率類別汽車速度，頻率越快，數據傳輸就越快。

1.首先來看看NVIDIA GPU架構。架構指的是硬件的設計方式，例如core數量、L1 or L2緩存、計算單元雙精度還是單精度等等。

• 2008 - Tesla

​ Tesla最初是給計算處理單元使用的，應用於早期的CUDA系列顯卡芯片中，並不是真正意義上的普通圖形處理芯片。

• 2010 - Fermi

  Fermi是第一個完整的GPU計算架構。首款可支持與共享存儲結合純cache層次的GPU架構，支持ECC的GPU架構。

• 2012 - Kepler

  Kepler相較於Fermi更快，效率更高，性能更好。

• 2014 - Maxwell

  其全新的立體像素全局光照 (VXGI) 技術首次讓遊戲 GPU 能夠提供實時的動態全局光照效果。基於 Maxwell 架構的 GTX 980 和 970 GPU 採用了包括多幀採樣抗鋸齒 (MFAA)、動態超級分辨率 (DSR)、VR Direct 以及超節能設計在內的一系列新技術。

• 2016 - Pascal

  Pascal 架構將處理器和數據集成在同一個程序包內，以實現更高的計算效率。1080系列、1060系列基於Pascal架構

• 2017 - Volta

  Volta 配備640 個Tensor 核心，每秒可提供超過100 兆次浮點運算(TFLOPS) 的深度學習效能，比前一代的Pascal 架構快5 倍以上。

• 2018 - Turing

  Turing 架構配備了名爲 RT Core 的專用光線追蹤處理器，能夠以高達每秒 10 Giga Rays 的速度對光線和聲音在 3D 環境中的傳播進行加速計算。Turing 架構將實時光線追蹤運算加速至上一代 NVIDIA Pascal™ 架構的 25 倍，並能以高出 CPU 30 多倍的速度進行電影效果的最終幀渲染。2060系列、2080系列顯卡也是跳過了Volta直接選擇了Turing架構。

2.芯片型號

芯片型號：GT200、GK210、GM104、GF104等。其中第二個字母表示架構，如K40 中的K表示是Kepler架構

3.顯卡系列

分成GeForce, Quadro, Tesla。
GeForce消費級常用於遊戲等，如GeForce RTX 2080ti、GeForce GTX 1080ti，還有顯卡型號有Titan v, Titan RTX, Titan Xp；
Quadro用於專業圖形領域，如Quadro RTX 8000；
Tesla用於科學計算，深度學習加速等場景，如Tesla P4/P40, Tesla T4。

4.流處理器

流處理器也叫渲染管，越多處理越快。

5.深度學習gpu雲主機

• 型號中大寫表示架構，例如K表示是Kepler架構

• CUDA Cores 流處理器個數

• 顯存容量 存儲，例如深度學習中參數

• 浮點性能 通常關心的是32位浮點計算能力。16位浮點訓練也開始流行，如果只做預測的話也可以用8位整數。FLOPS，即每秒浮點運算次數。

  一個TFLOPS（teraFLOPS）= 每秒萬億（=10^12）次的浮點運算

  （百度深度學習開發板應該是TITAN X (Pascal)）
  

6.其他

1.公版顯卡 顯卡研發廠家NVDIA（英偉達）或AMD官方售賣的顯卡；非公版顯卡購買NVDIA,AMD顯卡芯片後自行組裝生產的顯卡，通常比公版顯卡性能更高。

2.N卡 NVIDIA生產 A卡ADM

3.linux命令

watch -n 1 nvidia-smi

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.67       Driver Version: 418.67       CUDA Version: 10.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  TITAN X (Pascal)    On   | 00000000:00:09.0 Off |                  N/A |
| 23%   26C    P8     8W / 250W |      1MiB / 12196MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

ssss

Fan（23%）N/A是風扇轉速，從0到100%之間變動。有的設備不會返回轉速因爲依賴外界降溫比如在空調房的gpu；
Name：名稱；
Temp：顯卡內部的溫度，單位是攝氏度；
Perf：表徵性能狀態，從P0到P12，P0表示最大性能，P12表示狀態最小性能；
Persistence-M：持續模式的狀態（持續模式耗能大，但在新的GPU應用啓動時花費時間更少）；
Pwr:Usage/Cap：GPU能耗；
Bus-Id：GPU總線；
Disp.A：Display Active，表示GPU的顯示是否初始化；
Memory-Usage：顯存使用率； 12196MiB表示顯存大小是12G
Volatile GPU-Util：GPU利用率
Uncorr. ECC：是否開啓錯誤檢查和糾正技術，0/DISABLED, 1/ENABLED
Compute M.：計算模式，0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITED
Processes：進程信息 pid佔用顯存大小等等

顯卡天梯圖

ABLED, 1/ENABLED

Compute M.：計算模式，0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITED
Processes：進程信息 pid佔用顯存大小等等

顯卡天梯圖