算法複雜度——時間複雜度和空間複雜度

1、時間複雜度
  （1）時間頻度 一個算法執行所耗費的時間，從理論上是不能算出來的，必須上機運行測試才能知道。但我們不可能也沒有必要對每個算法都上機測試，只需知道哪個算法花費的時間多，哪個算法花費的時間少就可以了。並且一個算法花費的時間與算法中語句的執行次數成正比例，哪個算法中語句執行次數多，它花費時間就多。一個算法中的語句執行次數稱爲語句頻度或時間頻度。記爲T(n)。
  （2）時間複雜度 在剛纔提到的時間頻度中，n稱爲問題的規模，當n不斷變化時，時間頻度T(n)也會不斷變化。但有時我們想知道它變化時呈現什麼規律。爲此，我們引入時間複雜度概念。 一般情況下，算法中基本操作重複執行的次數是問題規模n的某個函數，用T(n)表示，若有某個輔助函數f(n),使得當n趨近於無窮大時，T（n)/f(n)的極限值爲不等於零的常數，則稱f(n)是T(n)的同數量級函數。記作T(n)=Ｏ(f(n)),稱Ｏ(f(n)) 爲算法的漸進時間複雜度，簡稱時間複雜度。
  在各種不同算法中，若算法中語句執行次數爲一個常數，則時間複雜度爲O(1),另外，在時間頻度不相同時，時間複雜度有可能相同，如T(n)=n2+3n+4與T(n)=4n2+2n+1它們的頻度不同，但時間複雜度相同，都爲O(n2)。 按數量級遞增排列，常見的時間複雜度有：常數階O(1),對數階O(log2n),線性階O(n), 線性對數階O(nlog2n),平方階O(n2)，立方階O(n3),...， k次方階O(nk),指數階O(2n)。隨着問題規模n的不斷增大，上述時間複雜度不斷增大，算法的執行效率越低。 2、空間複雜度 與時間複雜度類似，空間複雜度是指算法在計算機內執行時所需存儲空間的度量。記作: S(n)=O(f(n)) 我們一般所討論的是除正常佔用內存開銷外的輔助存儲單元規模。討論方法與時間複雜度類似，不再贅述。
  （3）漸進時間複雜度評價算法時間性能 　　主要用算法時間複雜度的數量級(即算法的漸近時間複雜度)評價一個算法的時間性能。
【例3．7】有兩個算法A1和A2求解同一問題，時間複雜度分別是T1(n)=100n2，T2(n)=5n3。
     （1）當輸入量n＜20時，有T1(n)＞T2(n)，後者花費的時間較少。
     （2）隨着問題規模n的增大，兩個算法的時間開銷之比5n3/100n2=n/20亦隨着增大。即當問題規模較大時，算法A1比算法A2要有效地多。它們的漸近時間複雜度O(n2)和O(n3)從宏觀上評價了這兩個算法在時間方面的質量。在算法分析時，往往對算法的時間複雜度和漸近時間複雜度不予區分，而經常是將漸近時間複雜度T(n)=O(f(n))簡稱爲時間複雜度，其中的f(n)一般是算法中頻度最大的語句頻度。
【例3．8】算法MatrixMultiply的時間複雜度一般爲T(n)=O(n3)，f(n)=n3是該算法中語句(5)的頻度。下面再舉例說明如何求算法的時間複雜度。
【例3．9】交換i和j的內容。       
      Temp=i;        i=j;        j=temp; 　　以上三條單個語句的頻度均爲1，該程序段的執行時間是一個與問題規模n無關的常數。算法的時間複雜度爲常數階，記作T(n)=O(1)。        如果算法的執行時間不隨着問題規模n的增加而增長，即使算法中有上千條語句，其執行時間也不過是一個較大的常數。此類算法的時間複雜度是O(1)。
【例3．10】變量計數之一。
(1) x=0;y=0;
(2) for(k-1;k<=n;k++)
(3)      x++;
(4) for(i=1;i<=n;i++)
(5)        for(j=1;j<=n;j++)
(6)          y++; 　　
一般情況下，對步進循環語句只需考慮循環體中語句的執行次數，忽略該語句中步長加1、終值判別、控制轉移等成分。因此，以上程序段中頻度最大的語句是(6)，其頻度爲f(n)=n2，所以該程序段的時間複雜度爲T(n)=O(n2)。　　當有若干個循環語句時，算法的時間複雜度是由嵌套層數最多的循環語句中最內層語句的頻度f(n)決定的。
【例3．11】變量計數之二。
(1) x=1;
(2) for(i=1;i<=n;i++)
(3)        for(j=1;j<=i;j++)
(4)            for(k=1;k<=j;k++)
(5)                x++; 　　
該程序段中頻度最大的語句是(5)，內循環的執行次數雖然與問題規模n沒有直接關係，但是卻與外層循環的變量取值有關，而最外層循環的次數直接與n有關，因此可以從內層循環向外層分析語句(5)的執行次數：  則該程序段的時間複雜度爲T(n)=O(n3/6+低次項)=O(n3)。 （4）算法的時間複雜度不僅僅依賴於問題的規模，還與輸入實例的初始狀態有關。
【例3．12】在數值A[0..n-1]中查找給定值K的算法大致如下：   
(1)i=n-1;           
(2)while(i>=0&&(A[i]!=k))       
(3)      i--;       
(4)return i;       
此算法中的語句(3)的頻度不僅與問題規模n有關，還與輸入實例中A的各元素取值及K的取值有關: ①若A中沒有與K相等的元素，則語句(3)的頻度f(n)=n； ②若A的最後一個元素等於K,則語句(3)的頻度f(n)是常數0。 （5）最壞時間複雜度和平均時間複雜度 　　最壞情況下的時間複雜度稱最壞時間複雜度。一般不特別說明，討論的時間複雜度均是最壞情況下的時間複雜度。        這樣做的原因是：最壞情況下的時間複雜度是算法在任何輸入實例上運行時間的上界，這就保證了算法的運行時間不會比任何更長。
【例3．19】查找算法
【例1·8】在最壞情況下的時間複雜度爲T(n)=0(n)，它表示對於任何輸入實例,該算法的運行時間不可能大於0(n)。       
平均時間複雜度是指所有可能的輸入實例均以等概率出現的情況下，算法的期望運行時間。       
常見的時間複雜度按數量級遞增排列依次爲：常數0(1)、對數階0(log2n)、線形階0(n)、線形對數階0(nlog2n)、平方階0(n2)立方階0(n3)、…、k次方階0(nk)、指數階0(2n)。顯然，時間複雜度爲指數階0(2n)的算法效率極低，當n值稍大時就無法應用。       

2、類似於時間複雜度的討論，一個算法的空間複雜度(Space Complexity)S(n)定義爲該算法所耗費的存儲空間，它也是問題規模n的函數。漸近空間複雜度也常常簡稱爲空間複雜度。
空間複雜度(Space Complexity)是對一個算法在運行過程中臨時佔用存儲空間大小的量度。一個算法在計算機存儲器上所佔用的存儲空間，包括存儲算法本身所佔用的存儲空間，算法的輸入輸出數據所佔用的存儲空間和算法在運行過程中臨時佔用的存儲空間這三個方面。算法的輸入輸出數據所佔用的存儲空間是由要解決的問題決定的，是通過參數表由調用函數傳遞而來的，它不隨本算法的不同而改變。存儲算法本身所佔用的存儲空間與算法書寫的長短成正比，要壓縮這方面的存儲空間，就必須編寫出較短的算法。算法在運行過程中臨時佔用的存儲空間隨算法的不同而異，有的算法只需要佔用少量的臨時工作單元，而且不隨問題規模的大小而改變，我們稱這種算法是“就地/"進行的，是節省存儲的算法，如這一節介紹過的幾個算法都是如此；有的算法需要佔用的臨時工作單元數與解決問題的規模n有關，它隨着n的增大而增大，當n較大時，將佔用較多的存儲單元，例如將在第九章介紹的快速排序和歸併排序算法就屬於這種情況。
    分析一個算法所佔用的存儲空間要從各方面綜合考慮。如對於遞歸算法來說，一般都比較簡短，算法本身所佔用的存儲空間較少，但運行時需要一個附加堆棧，從而佔用較多的臨時工作單元；若寫成非遞歸算法，一般可能比較長，算法本身佔用的存儲空間較多，但運行時將可能需要較少的存儲單元。
    一個算法的空間複雜度只考慮在運行過程中爲局部變量分配的存儲空間的大小，它包括爲參數表中形參變量分配的存儲空間和爲在函數體中定義的局部變量分配的存儲空間兩個部分。若一個算法爲遞歸算法，其空間複雜度爲遞歸所使用的堆棧空間的大小，它等於一次調用所分配的臨時存儲空間的大小乘以被調用的次數(即爲遞歸調用的次數加1，這個1表不開始進行的一次非遞歸調用)。算法的空間複雜度一般也以數量級的形式給出。如當一個算法的空間複雜度爲一個常量，即不隨被處理數據量n的大小而改變時，可表示爲O(1)；當一個算法的空間複雜度與以2爲底的n的對數成正比時，可表示爲0(10g2n)；當一個算法的空I司複雜度與n成線性比例關係時，可表示爲0(n).若形參爲數組，則只需要爲它分配一個存儲由實參傳送來的一個地址指針的空間，即一個機器字長空間；若形參爲引用方式，則也只需要爲其分配存儲一個地址的空間，用它來存儲對應實參變量的地址，以便由系統自動引用實參變量。
    對於一個算法，其時間複雜度和空間複雜度往往是相互影響的。當追求一個較好的時間複雜度時，可能會使空間複雜度的性能變差，即可能導致佔用較多的存儲空間；反之，當=i自求一個較好的空間複雜度時，可能會使時間複雜度的性能變差，即可能導致佔用較長的運行時間。另外，算法的所有性能之間都存在着或多或少的相互影響。因此，當設計一個算法(特別是大型算法)時，要綜合考慮算法的各項性能，算法的使用頻率，算法處理的數據量的大小，算法描述語言的特性，算法運行的機器系統環境等各方面因素，才能夠設計出比較好的算法。