Amdahl定律

Overview

Amdahl 定律(Amdahl’s law)是並行計算領略一個非常著名的定律。由 Gene Amdahl 於1967年提出。Amdahl 定律描述的是數據規模固定時，漸進加速比的變化趨勢。

$Time = s + \frac{f}{p}$

• $s$ 串行部分
• $f$ 並行部分
• $p$ 核數

如下圖所示。

Introduction

假設我們有一個任務 task 裏有25%的代碼是並行的。那麼在單機多核的情況下，我們可以獲得怎樣的加速比呢？

• $i$ 核數
• $m_{i}$ 有用 $i$ 核數的機器

單機單核的效率。

$m_{1} = 25\% + 75\% = 100\%$

單機雙核是單機單核的 $\frac{7}{8}$。

$m_{1} = 25\% \times \frac{1}{2} + 75\% = \frac{7}{8}$

單機4核是單機單核的 $\frac{13}{16}$。

$m_{1} = 25\% \times \frac{1}{4} + 75\% = \frac{13}{16}$

單機8核是單機單核的 $\frac{25}{32}$。

$m_{1} = 25\% \times \frac{1}{8} + 75\% = \frac{25}{32}$

單機1000核是單機單核的 $\frac{3001}{4000}$。

$m_{1} = 25\% \times \frac{1}{1000} + 75\% = \frac{3001}{4000}$

單機無數核是單機單核的 $\frac{3}{4}$。

$m_{1} = 25\% \times \frac{1}{+\infty} + 75\% = \frac{3}{4}$

從以上推算，可以知道，當並行代碼所佔的百分比固定的情況下，隨着核數 $i$ 增加，對並行效率的提升會固定在一定比例。

Reference

1. Introduction to HPC with MPI for Data Science
2. https://www.youtube.com/watch?v=ViMI_ciiC2A
3. https://www.youtube.com/watch?v=Axx2xuB-Xuo