《大話數據結構》第二章 算法

第二章 算法

算法的特性

算法有五個基本特性：輸入、輸出、有窮性、確定性和可行性

輸入輸出：有零個或多個輸入，至少有一個或多個輸出

有窮性：指算法在執行有限的步驟之後，自動結束而不會出現無限循環，並且每一個步驟在可接受的時間內完成

確定性：算法的每一個步驟都具有確定的含義，不會出現二義性

可行性：算法的每一步都必須是可行的，也就是說，每一步都能夠通過執行有限的次數完成

---

算法設計的要求

正確性：指算法至少應該具有輸入、輸出和加工處理無歧義性、能正確反映問題的需求、能夠得到問題的正確答案。

可讀性：算法設計的另一目的是爲了便於閱讀、理解和交流

健壯性：當輸入數據不合法是，算法也能做出相關處理，而不是產生異常或莫名奇妙的結果

時間效率高和存儲量低：效率就是執行時間的問題，存儲量指運行過程中需要的最大存儲空間

---

算法效率的度量方法

事後統計方法：
通過設計好的測試程序和數據，利用計算機計時器計算出來運行所需要的時間。

缺點：

1. 必須根據算法編號程序。
2. 時間還受硬件、CPU使用率和內存佔用情況影響。
3. 運行時間還和測試數據的規模有關

事前分析估算方法：
在計算機程序編制前，依據統計方法對算法進行估算，最有效的方法是估計步驟的數量。

---

時間複雜度

概念

函數的漸近增長
步驟計算中，常數對數值的影響<乘積對數值的影響<最高次項指數的影響，而且最高次項的常數不重要。所以，判斷一個算法的效率時，函數中的常數和其他次要項常常可以忽略，而更應該關注最高階項的階數。

時間複雜度定義：
在進行算法分析時，語句總的執行次數T(n)是關於問題規模n的函數，進而分析T(n)隨n的變化情況並確定T(n)的數量級。算法的時間複雜度，也就是算法的時間量度，記作：T(n) = O(f(n))。它表示隨問題規模n的增大，算法執行時間的增長率和f(n)的增長率相同，稱作算法的漸近時間複雜度，簡稱爲時間複雜度，其中f(n)是問題規模n的某個函數。
其中，O[1]叫常數階，O[n]叫線性階，O[$n^2$]叫平方階。

推導大O階方法：

1. 用常數1取代運行時間中的所有加法常數
2. 在修改後的運行次數函數中，只保留最高階項
3. 如果最高階項存在且不是1，則去除與這個項相乘的常數項

多種階

1. 常數階：
所有的常數都表示爲O[1], 不存在O[2], O[3]，下面的例子f(n)=3，根據上面的方法1，改爲1，得O[1]

int sum = 0, n = 100; // 1次
sum = (1 + n) * n / 2; // 1次
printf("%d", sum);    // 1次

注意，對於分支結構，無論真假，執行次數都是恆定的，除了循環結構，時間複雜度都是O[1]

2. 線性階：
分析算法的複雜度，關鍵就是要分析循環結構的運行情況，下面這個例子複雜度爲O[n]，因爲循環體中的代碼要執行n次

int i;
for (i = 0; i < n; i++)
{
    ... // 這裏是時間複雜度爲O[1]的語句
}

是否可以看成這裏是 1 * n，而不是1+1+1…，也可以認爲是，重複執行的才用乘法？

3. 對數階：
先看代碼：

int count = 1;
while (count < n)
{
    count = count * 2;
}

跟線性不同，這裏是每次執行後，離結束都會更近，當$2^x=\log_2n$的時候，結束，所以時間複雜度爲O[log n]

4. 平方階：

int i,j;
for (i = 0; i < n; i++)
{
    for (j = i; j < n; j++)
    {
        ... // 複雜度爲O[1]的語句
    }
}

執行起來總次數是：

$n + (n-1) + (n-2) + ... + 1 = \frac{n(n+1)}{2}$
根據上面的方法，只保留最高階，並且去除大於1階的常數係數，所以複雜度就是O[$n^2$]。

例題：

void function(int count)
{
    int j;
    for (j = count; i < n; j++)
    {
        ... // 時間複雜度爲O[1]的語句
    }
}

n++;
function(n); // 次數爲n
int i, j;
for (i = 0; i < n; i++) // 次數爲 n * (n-1) / 2
{
    function(i);
}

最終複雜度爲O[$n^2$]

常見的時間複雜度：

耗時排序：

$O(1) < O(\log n) < O(n) < O(n\log n) < O(n^2) < O(n^3) < O(2^n) < O(n!) < O(n^n)$

---

最壞情況和平均情況、空間複雜度

最壞情況：是一種保證，就是運行時間將不會再壞了。
在應用中，這是一種最重要的需求，通常，除非特別指定，我們提到的運行時間都是最壞情況的運行時間。

平均情況：平均運行時間是所有情況中最有意義的，因爲他是期望的運行時間。
很難通過分析得到，一般都是通過運行一定數量的實驗數據後估算出來的。

平均時間複雜度：計算所有情況的平均值。

最壞時間複雜度：計算最壞情況下的時間複雜度，一般在沒有特殊說明的情況下，都是指最壞時間複雜度。

算法空間複雜度：算法的空間複雜度通過將計算算法所需的存儲空間實現，算法空間複雜度的計算公式記作：S[n] = O[f(n)]，其中，n爲問題的規模，f(n)爲語句關於n所佔存儲空間的函數。