數據結構與算法分析（四）--- 時間與空間複雜度

一、複雜度分析

數據結構和算法本身解決的是“快”和“省”的問題，即如何讓代碼運行得更快，如何讓代碼更省存儲空間。所以，執行效率是算法一個非常重要的考量指標。那如何來衡量你編寫的算法代碼的執行效率呢？這裏就要用到一把衡量標尺：時間、空間複雜度分析。

你可能會有些疑惑，我把代碼跑一遍，通過統計、監控，就能得到算法執行的時間和佔用的內存大小。爲什麼還要做時間、空間複雜度分析呢？這種分析方法能比我實實在在跑一遍得到的數據更準確嗎？很多數據結構和算法書籍將這種評估方法稱作事後統計法，在工程中使用這種方法評估算法執行效率的方法也是正確的。

但是，這種統計方法有非常大的侷限性。其一，測試結果非常依賴測試環境；其二，測試結果受數據規模的影響很大。所以，我們需要一個不用具體的測試數據來測試，就可以粗略地估計算法的執行效率的方法，也就是時間、空間複雜度分析方法。

算法的執行效率，粗略地講，就是算法代碼執行的時間。但是，如何在不運行代碼的情況下，用“肉眼”得到一段代碼的執行時間呢？比如下面這段代碼：

int cal(int n)
{   
	int sum = 0;   
	int i = 1;
	int j = 1;   
	for (; i <= n; ++i){     
		for (; j <= n; ++j){       
			sum = sum +  i * j;     
		}   
	} 
}

從 CPU 的角度來看，這段代碼的每一行都執行着類似的操作：讀數據-運算-寫數據。儘管每行代碼對應的 CPU 執行的個數、執行的時間都不一樣，但是，我們這裏只是粗略估計，所以可以假設每行代碼執行的時間都一樣，爲 unit_time。在這個假設的基礎之上，這段代碼的總執行時間是多少呢？

第 3、4、5 行代碼，每行都需要 1 個 unit_time 的執行時間，第 6 行代碼循環執行了 n 遍，需要 n * unit_time 的執行時間，第 7、8 行代碼循環執行了 n²遍，所以需要 2n² * unit_time 的執行時間。所以，整段代碼總的執行時間 T(n) = (2n² + n + 3) * unit_time。儘管我們不知道 unit_time 的具體值，但是通過這段代碼執行時間的推導過程，我們可以得到一個規律，所有代碼的執行時間 T(n) 與每行代碼的執行次數 n 成正比。

1.1 大O表示法

對算法複雜度的分析主要是看算法執行時間隨數據量增長的變化趨勢，可以理解爲當數據規模趨近於無窮大時，算法執行需要耗費的時間增長趨勢是怎樣的，也即趨近於無窮大的快慢程度。

既然算法複雜度主要表示的是一個相對於數據量的增長速度，並不是一個精確的衡量指標，我們需要用一個“上界”和一個“下界”來涵蓋複雜度這個相對增長率。數學上，對“上界”與“下界”的定義如下：

• 如果存在正常數c和n0，使得當N>=n0時T(N)<=c·f(N)，則記爲T(N)=O(f(N))；
• 如果存在正常數c和n0，使得當N>=n0時T(N)>=c·f(N)，則記爲T(N)=Ω(f(N))；

第一個定義的意思就是：當N超過某個值後，c·f(N)總是至少比T(N)要大。忽略常數因子，即f(N)至少與T(N)一樣大。第二個定義意思就是：當N超過某個值後，c·f(N)總是最多和T(N)一樣大。

當我們說T(N)=O(f(N))時，其實就是說“T(N)是在以不快於f(N)的速度增長”，類似的T(N)=Ω(f(N))即“T(N)是在以不慢於f(N)的速度增長”。不難發現，O(f(N))就是T(N)的“上界”，Ω(f(N))就是T(N)的“下界”。由於對算法進行複雜度分析時往往考慮“最壞情況”，所以我們通常計算的是O(f(N))，即“上界”，俗稱“大O階”。

使用大O階表示代碼執行時間T(N)與代碼執行總次數f(N)（N表示數據規模的大小）之間的關係式爲：T(N)=O(f(N))。

文章開頭例子中的 T(n) = O(2n² + n + 3)，這就是大 O 時間複雜度表示法。大 O 時間複雜度實際上並不具體表示代碼真正的執行時間，而是表示代碼執行時間隨數據規模增長的變化趨勢，所以，也叫作漸進時間複雜度（asymptotic time complexity），簡稱時間複雜度。

當 n 很大時，你可以把它想象成 10000、100000，此時公式中的低階、常量、係數三部分並不左右增長趨勢，所以都可以忽略，我們只需要記錄一個最大量級就可以了，如果用大 O 表示法表示上面示例那段代碼的時間複雜度，就可以記爲：T(n) = O(n²)。

1.2 時間複雜度分析技巧

前面介紹了大 O 時間複雜度的由來和表示方法。現在我們來看下，如何分析一段代碼的時間複雜度？

• 只關注循環執行次數最多的一段代碼

剛纔說了，大 O 這種複雜度表示方法只是表示一種變化趨勢。我們通常會忽略掉公式中的常量、低階、係數，只需要記錄一個最大階的量級就可以了。所以，我們在分析一個算法、一段代碼的時間複雜度的時候，也只關注循環執行次數最多的那一段代碼就可以了，這段核心代碼執行次數的 n 的量級，就是整段要分析代碼的時間複雜度。

• 加法法則：總複雜度等於量級最大的那段代碼的複雜度

這個規律實際上是對上面那個規律的擴展，還是取其中最大的量級。我們將這個規律抽象成公式就是：如果 T1(n)=O(f(n))，T2(n)=O(g(n))；那麼 T(n)=T1(n)+T2(n)=max(O(f(n)), O(g(n))) =O(max(f(n), g(n)))。

• 乘法法則：嵌套代碼的複雜度等於嵌套內外代碼複雜度的乘積

文章開頭給出的示例代碼就是一個循環嵌套代碼，嵌套內外層代碼的時間複雜度都是O(n)，所以總的時間複雜度就是O(n * n)。我們將這個規律抽象成公式就是：如果 T1(n)=O(f(n))，T2(n)=O(g(n))；那麼 T(n)=T1(n)*T2(n)=O(f(n))*O(g(n))=O(f(n)*g(n))。

1.3 幾種常見的時間複雜度

雖然代碼千差萬別，但是常見的複雜度量級並不多，下面這幾個複雜度量級幾乎可以涵蓋我們將要遇到的絕大多數算法的複雜度量級。


對於剛羅列的複雜度量級，我們可以粗略地分爲兩類：多項式量級和非多項式量級。其中，非多項式量級只有兩個：O(2n) 和 O(n!)。

我們把時間複雜度爲非多項式量級的算法問題叫作 NP（Non-Deterministic Polynomial，非確定多項式）問題。當數據規模 n 越來越大時，非多項式量級算法的執行時間會急劇增加，求解問題的執行時間會無限增長。所以，非多項式時間複雜度的算法其實是非常低效的算法。因此，關於 NP 時間複雜度這裏就不展開講了，我們主要來看幾種常見的多項式時間複雜度。

• O(1)

只要代碼的執行時間不隨 n 的增大而增長，這樣代碼的時間複雜度我們都記作 O(1)。或者說，一般情況下，只要算法中不存在循環語句、遞歸語句，即使有成千上萬行的代碼，其時間複雜度也是Ο(1)。

• O(logn)、O(nlogn)

對數階時間複雜度非常常見，同時也是最難分析的一種時間複雜度。這裏再給出一個示例：

i=1; 
while (i <= n)  
{   
	i = i * 2; 
}

根據我們前面講的複雜度分析方法，第三行代碼是循環執行次數最多的。所以，我們只要能計算出這行代碼被執行了多少次，就能知道整段代碼的時間複雜度。

從代碼中可以看出，變量 i 的值從 1 開始取，每循環一次就乘以 2。當大於 n 時，循環結束。還記得我們高中學過的等比數列嗎？實際上，變量 i 的取值就是一個等比數列。如果把它一個一個列出來，就應該是這個樣子的：2⁰ 、 2¹ 、 2² 、 …、 2^x , 我們只要知道 x 值是多少，就知道這行代碼執行的次數了。通過 2^x=n 求解 x，得x=log₂n，所以，這段代碼的時間複雜度就是 O(log₂n)。

如果我們將上面循環體中的 i = i * 2 改爲 i = i * 3再計算時間複雜度是多少呢？根據剛剛講的思路，很簡單就能看出來，修改後代碼的時間複雜度爲 O(log₃n)。

實際上，不管是以 2 爲底、以 3 爲底，還是以 10 爲底，我們可以把所有對數階的時間複雜度都記爲 O(logn)。爲什麼呢？我們知道，對數之間是可以互相轉換的，log₃n 就等於 log₃2 * log₂n，所以 O(log₃n) = O(C * log₂n)，其中 C=log₃2 是一個常量。基於我們前面的一個理論：在採用大 O 標記複雜度的時候，可以忽略係數，即 O(Cf(n)) = O(f(n))。所以，O(log₂n) 就等於 O(log₃n)。因此，在對數階時間複雜度的表示方法裏，我們忽略對數的“底”，統一表示爲 O(logn)。

理解了 O(logn)，那 O(nlogn) 就很容易理解了。還記得我們剛講的乘法法則嗎？如果一段代碼的時間複雜度是 O(logn)，我們循環執行 n 遍，時間複雜度就是 O(nlogn) 了。而且，O(nlogn) 也是一種非常常見的算法時間複雜度，比如歸併排序、快速排序的時間複雜度都是 O(nlogn)。

• O(m+n)、O(m*n)

這個時間複雜度跟前面介紹的不一樣，代碼的複雜度由兩個數據的規模m和n來共同決定。我們無法事先評估 m 和 n 誰的量級大，所以我們在表示複雜度的時候，就不能簡單地利用加法法則，省略掉其中一個。所以，上面代碼的時間複雜度就是 O(m+n)。針對這種情況，原來的加法法則就不正確了，我們需要將加法規則改爲：T1(m) + T2(n) = O(f(m) + g(n))。但是乘法法則繼續有效：T1(m) * T2(n) = O(f(m) * f(n))。

1.4 空間複雜度分析

前面花了很長時間講大 O 表示法和時間複雜度分析，理解了前面講的內容，空間複雜度分析方法學起來就非常簡單了。

前面介紹過，時間複雜度的全稱是漸進時間複雜度，表示算法的執行時間與數據規模之間的增長關係。類比一下，空間複雜度全稱就是漸進空間複雜度（asymptotic space complexity），表示算法的存儲空間與數據規模之間的增長關係。

我們常見的空間複雜度就是 O(1)、O(n)、O(n²)，像 O(logn)、O(nlogn) 這樣的對數階複雜度平時都用不到。而且，空間複雜度分析比時間複雜度分析要簡單很多。需要提醒的一點時，有些空間是可以重複使用的，比如我們分配O(n)空間使用後釋放，這個過程重複n遍，空間複雜度依然是O(n)。

二、最好、最壞、平均、均攤時間複雜度

2.1 最好、最壞時間複雜度

有些程序的時間複雜度並不那麼容易確定，比如下面這段代碼：

int find(int[] array, int n, int x) 
{  
	int i = 0;  
	int pos = -1;  
	for (; i < n; ++i){    
		if (array[i] == x){
			pos = i;
			break;
		}
	}  
	return pos;
}

這段代碼要實現的功能是，在一個無序的數組（array）中，查找變量 x 出現的位置，如果沒有找到，就返回 -1。那麼，這段代碼的時間複雜度是多少呢？前面介紹的時間複雜度分析方法，解決不了這個問題。

因爲，要查找的變量 x 可能出現在數組的任意位置。如果數組中第一個元素正好是要查找的變量 x，那就不需要繼續遍歷剩下的 n-1 個數據了，那時間複雜度就是 O(1)。但如果數組中不存在變量 x，那我們就需要把整個數組都遍歷一遍，時間複雜度就成了 O(n)。所以，不同的情況下，這段代碼的時間複雜度是不一樣的。

爲了表示代碼在不同情況下的不同時間複雜度，我們需要引入三個概念：最好情況時間複雜度、最壞情況時間複雜度和平均情況時間複雜度。

顧名思義，最好情況時間複雜度就是，在最理想的情況下，執行這段代碼的時間複雜度。就像我們剛剛講到的，在最理想的情況下，要查找的變量 x 正好是數組的第一個元素，這個時候對應的時間複雜度就是最好情況時間複雜度。

同理，最壞情況時間複雜度就是，在最糟糕的情況下，執行這段代碼的時間複雜度。就像剛舉的那個例子，如果數組中沒有要查找的變量 x，我們需要把整個數組都遍歷一遍才行，所以這種最糟糕情況下對應的時間複雜度就是最壞情況時間複雜度。

2.2 平均時間複雜度

最好情況時間複雜度和最壞情況時間複雜度對應的都是極端情況下的代碼複雜度，發生的概率其實並不大。爲了更好地表示平均情況下的複雜度，我們需要引入另一個概念：平均情況時間複雜度，簡稱爲平均時間複雜度。

平均時間複雜度又該怎麼分析呢？還藉助剛纔查找變量 x 的例子，要查找的變量 x 在數組中的位置，有 n+1 種情況：在數組的 0～n-1 位置中和不在數組中。假設變量x在數組中與不在數組中的概率都是1/2，且要查找的數據出現在 0～n-1 這n個位置的概率也是一樣的，爲1/n。那麼，根據概率乘法法則，要查找的數據出現在 0～n-1 中任意位置的概率就是 1/(2n)。

我們把每種情況下，查找需要遍歷的元素個數乘以該種情況出現的概率，最後將各種情況累加起來，就可以得到需要遍歷的元素個數的平均值，即：

這個值就是概率論中的加權平均值，也叫作期望值，所以平均時間複雜度的全稱應該叫加權平均時間複雜度或者期望時間複雜度。前面那段代碼的加權平均值爲 (3n+1)/4，用大 O 表示法來表示，去掉係數和常量，這段代碼的加權平均時間複雜度就是 O(n)。

平均時間複雜度的分析比較複雜，還要涉及概率論的知識。不過，在大多數情況下，我們並不需要區分最好、最壞、平均情況時間複雜度三種情況，很多時候，我們使用一個複雜度就可以滿足需求了。只有同一塊代碼在不同的情況下，時間複雜度有量級的差距，我們纔會使用這三種複雜度表示法來區分。

2.3 均攤時間複雜度

均攤時間複雜度，聽起來跟平均時間複雜度有點兒像。對於初學者來說，這兩個概念確實非常容易弄混。前面說了，大部分情況下，我們並不需要區分最好、最壞、平均三種複雜度。平均複雜度只在某些特殊情況下才會用到，而均攤時間複雜度應用的場景比它更加特殊、更加有限。

再分析下面這段代碼的時間複雜度：

// array表示一個長度爲n的數組，代碼中的array.length就等於n

int[] array = new int[n]; 
int count = 0;

void insert(int val)
{    
	if (count == array.length) 
	{       
		int sum = 0;       
		for (int i = 0; i < array.length; ++i){          
			sum = sum + array[i];       
		}       
		array[0] = sum;       
		count = 1;    
	}    
	array[count] = val;    
	++count; 
}

這段代碼實現了一個往數組中插入數據的功能。當數組滿了之後，也就是代碼中的 count == array.length 時，我們用 for 循環遍歷數組求和，並清空數組，將求和之後的 sum 值放到數組的第一個位置，然後再將新的數據插入。但如果數組一開始就有空閒空間，則直接將數據插入數組。

那這段代碼的時間複雜度是多少呢？我們可以先用上面剛介紹的三種時間複雜度的分析方法來分析一下。最理想的情況下，數組中有空閒空間，我們只需要將數據插入到數組下標爲 count 的位置就可以了，所以最好情況時間複雜度爲 O(1)。最壞的情況下，數組中沒有空閒空間了，我們需要先做一次數組的遍歷求和，然後再將數據插入，所以最壞情況時間複雜度爲 O(n)。

那平均時間複雜度是多少呢？我們可以通過前面介紹的概率論的方法來分析，假設數組的長度是 n，根據數據插入的位置的不同，我們可以分爲 n 種情況，每種情況的時間複雜度是 O(1)。除此之外，還有一種“額外”的情況，就是在數組沒有空閒空間時插入一個數據，這個時候的時間複雜度是 O(n)。而且，這 n+1 種情況發生的概率一樣，都是 1/(n+1)。所以，根據加權平均的計算方法，我們求得的平均時間複雜度就是：

我們對比一下這個 insert() 的例子和前面那個 find() 的例子，你就會發現這兩者有很大差別。首先，find() 函數在極端情況下，複雜度才爲 O(1)。但 insert() 在大部分情況下，時間複雜度都爲 O(1)，只有個別情況下，複雜度才爲 O(n)。其次，對於 insert() 函數來說，O(1) 時間複雜度的插入和 O(n) 時間複雜度的插入，出現的頻率是非常有規律的，而且有一定的前後時序關係，一般都是一個 O(n) 插入之後，緊跟着 n-1 個 O(1) 的插入操作，循環往復。

針對上面insert()函數這種特殊場景的複雜度分析，我們並不需要像平均複雜度分析方法那樣，找出所有的輸入情況及相應的發生概率，然後再計算加權平均值。針對這種特殊的場景，我們引入了一種更加簡單的分析方法：攤還分析法，通過攤還分析得到的時間複雜度我們起了一個名字，叫均攤時間複雜度。

那究竟如何使用攤還分析法來分析算法的均攤時間複雜度呢？我們還是繼續看在數組中插入數據的這個例子。每一次 O(n) 的插入操作，都會跟着 n-1 次 O(1) 的插入操作，所以把耗時多的那次操作均攤到接下來的 n-1 次耗時少的操作上，均攤下來，這一組連續的操作的均攤時間複雜度就是 O(1)，這就是均攤分析的大致思路。

均攤時間複雜度可以看作是一種特殊的平均時間複雜度，均攤時間複雜度和攤還分析的應用場景比較特殊。那麼，什麼情況下可以使用均攤時間複雜度和攤還分析呢？

一般的，對一個數據結構進行一組連續操作中，大部分情況下時間複雜度都很低，只有個別情況下時間複雜度比較高，而且這些操作之間存在前後連貫的時序關係，這個時候，我們就可以將這一組操作放在一塊兒分析，看是否能將較高時間複雜度那次操作的耗時，平攤到其他那些時間複雜度比較低的操作上。而且，在能夠應用均攤時間複雜度分析的場合，一般均攤時間複雜度就等於最好情況時間複雜度。

更多文章：

• 《數據結構與算法分析（三）— 隊列、棧的實現與應用》
• 《數據結構與算法分析（五）— 遞推與遞歸 + 減治排序》