算法分析與複雜性理論

1. 函數漸進的界

1.1 大 $O$ 符號

• 定義：

  設 $f$ 和 $g$ 是定義域爲自然數集N上的函數。若存在正數 $c$ 和 $n_0$ ，使得對於一切 $n > n_0$ 有 $0 \le f (n) \le cg(n)$ 成立，則稱 $f (n)$ 的漸進上界是 $g(n)$，記作：

  $f (n) = O(g(n))$

  自然數：自然數是指用以計量事物的件數或表示事物次序的數。即用數碼0，1，2，3，4……所表示的數。自然數由0開始，一個接一個，組成一個無窮的集體。自然數有有序性，無限性。分爲偶數和奇數，合數和質數等。

• 說明：

  • $f (n) = O(g(n))$，$f (n)$ 的階不高於 $g(n)$ 的階；
  • 可能存在多個正數 $c$ ，只要指出一個即可；
  • 對前面有限多個值可以不滿足不等式；
  • 常數函數可以寫作 $O(1)$

• 栗子：
  設 $f (n) = n^2 + n$，則：

  • $f (n) = O(n^2)$，取 $c = 2, n_0 = 1$ 即可；
  • $f (n) = O(n^3)$，取 $c = 1, n_0 = 2$ 即可；

1.2 大 $\Omega$ 符號

• 定義：

  設 $f$ 和 $g$ 是定義域爲自然數集N上的函數。若存在正數 $c$ 和 $n_0$ ，使得對於一切 $n > n_0$ 有 $0 \le cg(n) \le f (n)$ 成立，則稱 $f (n)$ 的漸進下界是 $g(n)$，記作：

  $f (n) = \Omega(g(n))$

• 說明：

  • $f (n) = \Omega(g(n))$，$f (n)$ 的階不低於 $g(n)$ 的階；
  • 可能存在多個正數 $c$ ，只要指出一個即可；
  • 對前面有限多個值可以不滿足不等式；

• 栗子：

  設 $f (n) = n^2 + n$，則：

  • $f (n) = \Omega(n^2)$，取 $c = 1, n_0 = 1$ 即可；
  • $f (n) = \Omega(100n)$，取 $c = \frac{1}{100}, n_0 = 1$ 即可；

1.3 小 $o$ 符號

• 定義：

  設 $f$ 和 $g$ 是定義域爲自然數集N上的函數。若對於任意正數 $c$ 都存在 $n_0$，使得對於一切 $n > n_0$ 有 $0 \le f (n) \le cg(n)$ 成立，則記作：

  $f (n) = o(g(n))$

• 說明：

  • $f (n) = o(g(n))$，$f (n)$ 的階低於 $g(n)$ 的階；
  • 對不同的正數 $c$，$n_0$ 不一樣，$c$ 越小 $n_0$ 越大；
  • 對前面有限多個值可以不滿足不等式；

• 栗子：

  設 $f (n) = n^2 + n$，則：$f (n) = o(n^3)$

  證：

  • 當 $c \ge 1$ 時顯然成立，只要取 $n_0 = 2$，$n^2 + n < cn^3$；

  • 當 $0 < c < 1$ 時，取 $n_0 = \left \lceil \frac{2}{c} \right \rceil$ 即可，因爲當 $n \ge n_0$：

    $cn \ge cn_0 > 2$

    $n^2 + n < 2n^2 < cn^3$

1.4 小 $\omega$ 符號

• 定義：

  設 $f$ 和 $g$ 是定義域爲自然數集N上的函數。若對於任意正數 $c$ 都存在 $n_0$，使得對於一切 $n > n_0$ 有 $0 \le cg(n) \le f (n) $ 成立，則記作：

  $f (n) = \omega(g(n))$

• 說明：

  • $f (n) = o(g(n))$，$f (n)$ 的階高於 $g(n)$ 的階；
  • 對不同的正數 $c$，$n_0$ 不一樣，$c$ 越小 $n_0$ 越大；
  • 對前面有限多個值可以不滿足不等式；

1.5 $\Theta$ 符號

• 定義：

  若 $f (n) = O(g(n))$ 且 $f (n) = \Omega(g(n))$，則記作：

  $f (n) = \Theta(g(n))$

• 說明：

  • $f (n)$ 的階與 $g(n)$ 的階相同
  • 對前面有限多個值可以不滿足條件；

	定義	說明
$O$	設 $f$ 和 $g$ 是定義域爲自然數集N上的函數。若存在正數 $c$ 和 $n_0$ ，使得對於一切 $n > n_0$ 有 $0 \le f (n) \le cg(n)$ 成立，則稱 $f (n)$ 的漸進上界是 $g(n)$，記作：$f (n) = O(g(n))$	$f (n) = O(g(n))$，$f (n)$ 的階不高於 $g(n)$ 的階； 可能存在多個正數 $c$ ，只要指出一個即可； 對前面有限多個值可以不滿足不等式； 常數函數可以寫作 $O(1)$
$\Omega$	設 $f$ 和 $g$ 是定義域爲自然數集N上的函數。若存在正數 $c$ 和 $n_0$ ，使得對於一切 $n > n_0$ 有 $0 \le cg(n) \le f (n)$ 成立，則稱 $f (n)$ 的漸進下界是 $g(n)$，記作：$f (n) = \Omega(g(n))$	$f (n) = \Omega(g(n))$，$f (n)$ 的階不低於 $g(n)$ 的階； 可能存在多個正數 $c$ ，只要指出一個即可； 對前面有限多個值可以不滿足不等式；
$o$	設 $f$ 和 $g$ 是定義域爲自然數集N上的函數。若對於任意正數 $c$ 都存在 $n_0$，使得對於一切 $n > n_0$ 有 $0 \le f (n) \le cg(n)$ 成立，則記作：$f (n) = o(g(n))$	$f (n) = o(g(n))$，$f (n)$ 的階低於 $g(n)$ 的階； 對不同的正數 $c$，$n_0$ 不一樣，$c$ 越小 $n_0$ 越大； 對前面有限多個值可以不滿足不等式；
$\omega$	設 $f$ 和 $g$ 是定義域爲自然數集N上的函數。若對於任意正數 $c$ 都存在 $n_0$，**使得對於一切 $n > n_0$ 有 $0 \le cg(n) \le f (n) $** 成立，則記作：$f (n) = \omega(g(n))$	$f (n) = o(g(n))$，$f (n)$ 的階高於 $g(n)$ 的階； 對不同的正數 $c$，$n_0$ 不一樣，$c$ 越小 $n_0$ 越大； 對前面有限多個值可以不滿足不等式；
$\Theta$	若 $f (n) = O(g(n))$ 且 $f (n) = \Omega(g(n))$，則記作：$f (n) = \Theta(g(n))$	$f (n)$ 的階與 $g(n)$ 的階相同 對前面有限多個值可以不滿足條件；

2. 函數漸進界的定理

2.1 定理1：Knowledge

• 定理內容：

  設 $f$ 和 $g$ 是定義域爲自然數集合的函數。

  • 如果 $\lim_{n \to \infty}\frac{f (n)}{g(n)}$ 存在，並且等於某個常數 $c > 0$ ，那麼：

    $f (n) = \Theta(g(n))$

  • 如果 $\lim_{n \to \infty}\frac{f (n)}{g(n)} = 0$ ，那麼：

    $f (n) = o(g(n))$

  • 如果 $\lim_{n \to \infty}\frac{f (n)}{g(n)} = +\infty$ ，那麼：

    $f (n) = \omega(g(n))$

• 栗子：

  設 $f (n) = \frac{1}{2}n^2 - 3n$，證明 $f (n) = \Theta(n^2)$

  證：因爲

  ​ $\lim_{n \to \infty}\frac{f (n)}{n^2} = \lim_{n \to \infty}\frac{\frac{1}{2}n^2 - 3n}{n^2} = \frac{1}{2}$

  根據定理1，有 $f (n) = \Theta(n^2)$

• 根據定理1，得到的一些重要的結論：

  • $n^d = o(r^n), r > 1, d > 0$ => 多項式函數的階低於指數函數的階
  • $\ln n = o(n^d), d > 0$ => 對數函數的階低於冪函數的階

2.2 定理2：

• 定理內容：

  設 $f, g, h$ 的定義域爲自然數集合：（函數階之間的關係具有可傳遞性）

  • 如果 $f = O(g)$，且 $f = O(h)$，那麼 $f = O(h)$；
  • 如果 $f = \Omega(g)$，且 $f = \Omega(h)$，那麼 $f = \Omega(h)$；
  • 如果 $f = \Theta(g)$，且 $f = \Theta(h)$，那麼 $f = \Theta(h)$；

2.3 定理3：

• 定理內容：

  設 $f$ 和 $g$ 是定義域爲自然數集合的函數，若對某個其它的函數 $h$ ，有 $f = O(h)$ 和 $g = O(h)$，那麼：

  $f + g = O(h)$

  => 該性質可以推廣到有限個函數

• 算法的時間複雜度是各步操作時間之和，在常數步的情況下取最高階的函數即可。

4. 基本函數

4.1 對數函數

• 符號：
  • $\log n = \log_2 n$
  • $\log^k n = (\log n)^k$
  • $\log\log n = \log(\log n)$
• 性質：
  • $\log_2 n = \Theta(\log_l n)$
  • $log_b n = o(n^\alpha), \alpha > 0$
  • $\alpha ^{\log_b n} = n^{\log_b \alpha} $

4.2 指數函數與階乘

• 斯特林公式（Stirling）：

  $n! = \sqrt{2\pi n}(\frac{n}{e})^n(1 + \Theta(\frac{1}{n}))$

• 由 Stirling 公式得到的結論：

  • $n! = o(n^n)$
  • $n! = \omega(2^n)$
  • $\log(n!) = \Theta(n\log n)$

• $\log(n!) = \Theta(n\log n)$ 證明： Knowledge

  • $\log(n!) = \Omega(n\log n)$ 的證明：

    $\log(n!) = \sum_{k = 1}^n\log k \ge \int_1^n \log x dx = \log e(n\ln n - n + 1) = \Omega(n\log n)$

  • $\log(n!) = O(n\log n)$ 的證明：

    $\log(n!) = \sum_{k = 1}^n\log k \le \int_{2}^{n + 1} \log x dx = \log e(n\ln n - n + 1) = O(n\log n)$

4.3 取整函數

• 定義：
  • $\left \lfloor x \right \rfloor$ ：表示小於等於x的最大整數
  • $\left \lceil x \right \rceil$ ：表示大於等於x的最大整數
• 性質：
  • $x - 1 < \left \lfloor x \right \rfloor \le x \le \left \lceil x \right \rceil < x + 1$
  • $\left \lfloor x + n \right \rfloor = \left \lfloor x \right \rfloor + n, \left \lceil x + n \right \rceil = \left \lceil x \right \rceil + n$
  • $\left \lceil \frac{n}{2} \right \rceil + \left \lfloor \frac{n}{2} \right \rfloor = n$
  • $\left \lceil \frac{\left \lceil \frac{n}{a} \right \rceil}{b} \right \rceil = \left \lceil \frac{n}{ab} \right \rceil, \left \lfloor \frac{\left \lfloor \frac{n}{a} \right \rfloor}{b} \right \rfloor = \left \lfloor \frac{n}{ab} \right \rfloor$

4.4 按照階排序 Knowledge

$2^{2^n}, n!, n2^n, (\frac{3}{2})^n, (\log n)^{\log n} = n^{\log\log n}$

$n^3, \log{(n!)} = \Theta(n\log n), n = 2^{\log n}$

$\log^2n, \log n, \sqrt{\log n}, \log\log n$

$n^{\frac{1}{\log n}} = 1$

5. 序列求和的方法

5.1 引例

$\begin{aligned}(1). \sum_{k = 1}^{n - 1}\frac{1}{k(k + 1)}&=\sum_{k = 1}^{n - 1}(\frac{1}{k} - \frac{1}{k + 1})\\ &=\sum_{k = 1}^{n - 1}\frac{1}{k} - \sum_{k = 1}^{n - 1}\frac{1}{k + 1}\\ &=\sum_{k = 1}^{n - 1}\frac{1}{k} - \sum_{k = 2}^{n}\frac{1}{k} \\ &= 1 - \frac{1}{n} \\ \end{aligned}$

$\begin{aligned}(2). \sum_{t = 1}^{k}t2^{t - 1}&=\sum_{t = 1}^{k}t(2^t - 2^{t - 1}) \\ &=\sum_{t = 1}^{k}t2^t - \sum_{t = 1}^{k}t2^{t - 1} \\ &=\sum_{t = 1}^{k}t2^t - \sum_{t = 0}^{k - 1}(t + 1)2^t \\ &=\sum_{t = 1}^{k}t2^t - \sum_{t = 0}^{k - 1}t2^t - \sum_{t = 0}^{k - 1}2^t \\ &=k2^t - (2^k - 1) = (k - 1)2^k + 1\\ \end{aligned}$

5.2 二分檢索的平均時間複雜度 knowledge

$A(n) = \left \lfloor \log n \right \rfloor + \frac{1}{2}$

5.3 估計和式上界的放大法 knowledge

• 兩個放大公式：

  • $\sum_{k = 1}^n a_k \le na_{max}$

  • 假設存在常數 $r < 1$ ，使得對一切 $k \ge 0$ 有 $\frac{a_{k + 1}}{a_k} \le r$ 成立，則有如下結論：

    $\sum_{k = 0}^n \le \sum_{k = 0}^\infty a_0r^k = a_0\sum_{k = 0}^\infty r^k = \frac{a_0}{1 - r}$

• 栗子：

  估計$\sum_{k = 1}^n \frac{k}{3^k}$ 的上界。

  解：

  ​ $\sum_{k = 1}^n \frac{k}{3^k} = \sum_{k = 0}^{n}\frac{k}{3^{k}}$

  ​ 令 $a_k = \frac{k}{3^{k}}, a_{k + 1} = \frac{k + 1}{3^{k + 1}}$，則 $\frac{a_{k + 1}}{a_k} = \frac{(k + 1)3^{k}}{(k)3^{k + 1}} = \frac{k + 1}{3k} \le \frac{2}{3} (k >= 1)$

  所以，由上述第二個放大公式有：

  ​ $\sum_{k = 1}^n \frac{k}{3^k} \le \sum_{k = 1}^\infty \frac{1}{3}(\frac{2}{3})^{k - 1} = \frac{1}{3}\frac{1}{1 - \frac{2}{3}} = 1$

5.4 估計和式漸進的界 Knowledge

估計$\sum_{k = 1}^n \frac{1}{k}$ 的漸進的界

• $\sum_{k = 1}^n \frac{1}{k} \ge \int_1^{n + 1}\frac{dx}{x} = \ln (n + 1)$

• $\sum_{k = 1}^n \frac{1}{k} = \frac{1}{1} + \sum_{k = 2}^n \frac{1}{k} \le 1 + \int_1^{n}\frac{dx}{x} = \ln n + 1$

  所以，$\sum_{k = 1}^n \frac{1}{k} = \Theta(\ln n) = \Theta(\log n)$

6. 遞推方程與算法分析 Knowledge

• 主定理的應用背景：

  $T(n) = aT(\frac{n}{b}) + f (n)$

  • $a$ ：規約後的子問題個數
  • $\frac{n}{b} $ ：規約後子問題的規模
  • $f (n)$ ：規約過程以及組合子問題的解的工作量

  二分檢索 => $T(n) = T(\frac{n}{2}) + 1$

  二分歸併排序 => $T(n) = 2T(\frac{n}{2}) + n - 1$

• 主定理：

  設 $a > 1, b > 1$ 爲常數，$f (n)$ 爲函數，$T(n)$ 爲非負整數，且 $T(n) = aT(\frac{n}{b}) + f (n)$，則：

  1. 若 $f (n) = O(n^{log_b a - \epsilon})$，$\epsilon > 0$ ，那麼：

     $T(n) = \Theta(n^{\log_b a})$

  2. 若 $f (n) = \Theta(n^{log_b a})$，那麼：

     $T(n) = \Theta(n^{\log_b a}\log n)$

  3. 若 $f (n) = \Omega(n^{\log_b a + \epsilon})$，$\epsilon > 0$，且對於某個常數 $c < 1$ 和充分大的 $n$ 有 $af(\frac{n}{b}) \le cf (n)$，那麼：

     $T(n) = \Theta(f (n))$

• 例1：

  求解遞推方程：$T(n) = 9T(\frac{n}{3}) + n$

  解：

  ​ $a = 9, b = 3, f (n) = n$

  ​ $n^{\log_b a} = n^{log_3 9} = n^2$，$f (n) = O(n^{log_3 9 - 1})$

  ​ 根據主定理規則1，其中 $\epsilon = 1$：

  ​ $T(n) = \Theta(n^2)$

• 例2：

  求解遞推方程：$T(n) = T(\frac{2n}{3}) + 1$

  解：

  ​ $a = 1, b = \frac{3}{2}, f (n) = 1$

  ​ $n^{log_b a} = n^{log_{\frac{3}{2}} 1} = 1$ ，$f (n) = n^{log_{\frac{3}{2}}1}$

  ​ 根據主定理規則2：

  ​ $T(n) = \Theta(n^{\log_{\frac{3}{2}} 1} \log n) = \Theta(\log n)$

• 例3：

  求解遞推方程：$T(n) = 3T(\frac{n}{4}) + n\log n$

  解：

  ​ $a = 3, b = 4, f (n) = n\log n$

  ​ $n^{\log_b a} = n^{\log_4 3} \approx 0.793$

  ​ 取 $\epsilon = 0.2$，則 $f (n) = n\log n = \Omega(n^{\log_4 3 + 0.2})$ = $\Omega(n^{0.993})$

  ​ 條件驗證：要使 $af(\frac{n}{b}) \le cf (n)$ 成立，帶入 $f (n) = n\log n$ 得到：

  ​ $3(\frac{n}{4})\log (\frac{n}{4}) \le cn\log n$

  ​ 當 $c \ge \frac{3}{4}$ 時，上述不等式可以對充分打的n成立，根據主定理規則3：

  ​ $T(n) = \Theta(f (n)) = \Theta(n\log n)$

• 二分檢索：

  $W(n) = W(\frac{n}{2}) + 1, W(1) = 1$

  解：

  ​ $a = 1, b = 2, f (n) = 1, n^{\log_2 1} = 1$

  ​ 根據主定理規則2：

  ​ $W(n) = \Theta(\log n)$

• 二分歸併排序：

  $W(n) = 2W(\frac{n}{2}) + n - 1, W(1) = 0$

  解：
  $a = 2, b = 2, f (n) = n - 1, n^{\log_2 2} = n$

  ​ 根據主定理規則2：

  ​ $W(n) = \Theta(n\log n)$

• 例4： => 不能使用主定理的情形

  求解遞推方程：$T(n) = 2T(\frac{n}{2}) + n\log n$

  解：

  ​ $a = 2, b = 2, f (n) = n\log n, n^{\log_b a} = n$

  ​ 不存在 $\epsilon > 0$ 使得：$n\log n = \Omega(n^{1 + \epsilon})$

  ​ 不存在 $c < 1$ 使 $af(\frac{n}{b}) \le cf (n)$ 對所有充分大的 $n$ 成立

  ​ $2(\frac{n}{2})\log{\frac{n}{2}} = n(\log n - 1) \le cn\log n$