GPU 核心和 CPU 核心
費林分類法 (Flynn’s Taxonomy)
單指令單數據 (single instruction, single data，SISD)
單指令多數據 (single instruction, multiple data，SIMD)
多指令單數據 (multiple instruction, single data，MISD)
多指令多數據 (multiple instruction, multiple data，MIMD)
SIMD 最大的優勢或許就是，在 CPU 上編寫代碼時，程序員可以繼續按串行邏輯思考但對並行數據操作實現並行加速，而其他細節則由編譯器來負責。
延遲是一個操作從開始到完成所需要的時間，常用微秒來表示。
帶寬是單位時間內可處理的數據量，通常表示爲 MB/s 或 GB/s。
吞吐量是單位時間內成功處理的運算數量，通常表示爲 gflops (即每秒十億次的浮點運算數量)。
延遲用來衡量完成一次操作的時間，吞吐量用來衡量在給定的單位時間內處理的操作量。
分佈式內存的多節點系統，常被稱作集羣。
衆核 (many-core) 通常是指有很多核心 (幾十或幾百個) 的多核架構。
GPU 代表了一種衆核架構，單指令多線程 (single instruction, multiple thread，SIMT)。
GPU 核心和 CPU 核心
CPU 核心比較重，用來處理非常複雜的控制邏輯，以優化串行程序執行。
GPU 核心較輕，用於優化具有簡單控制邏輯的數據並行任務，注重並行程序的吞吐量。
graphics processing unit，GPU
application programming interface，API
central processing unit，CPU
general-purpose computing on graphics processing units，GPGPU and GPGP
high-performance computing，HPC
Harvard architecture：哈佛體系結構
Compute Unified Device Architecture，CUDA：統一計算架構