目錄
1.算法的時間複雜度
1.1 度量一個程序(算法)執行時間的兩種方法
1.2 時間頻度的概念
1.3 時間複雜度
1.4 常見的時間複雜度
1.5 平均時間複雜度和最壞時間複雜度
2.算法的空間複雜度
1.算法的時間複雜度
1.1 度量一個程序(算法)執行時間的兩種方法：
(1)事後統計的方法：這種方法可行, 但是有兩個問題。一是要想對設計的算法的運行性能進行評測，需要實際運行該程序；二是所得時間的統計量依賴於計算機的硬件、軟件等環境因素，這種方式，要在同一臺計算機的相同狀態下運行，才能比較那個算法速度更快。
(2)事前估算的方法：通過分析某個算法的時間複雜度來判斷哪個算法更優。
1.2 時間頻度的概念：
一個算法花費的時間與算法中語句的執行次數成正比例，哪個算法中語句執行次數多，它花費時間就多。一個算法中的語句執行次數稱爲語句頻度或時間頻度。記爲 T(n)。
舉例說明-基本案例
比如計算1-100所有數字之和, 我們設計兩種算法：
採用for循環的時間頻度爲：T(n)=n+1; （循環100次後，會多執行一次判定才跳出循環，故爲 n+1）
採用簡便計算公式的時間頻度爲：T(n)=1
舉例說明-忽略常數項
結論:
(1) 2n+20 和 2n 隨着n 變大，執行曲線無限接近, 20可以忽略
(2) 3n+10 和 3n 隨着n 變大，執行曲線無限接近, 10可以忽略
舉例說明-忽略低次項
結論:
(1) 2n^2+3n+10 和 2n^2 隨着n 變大, 執行曲線無限接近, 可以忽略 3n+10
(2) n^2+5n+20 和 n^2 隨着n 變大,執行曲線無限接近, 可以忽略 5n+20
舉例說明-忽略係數
結論:
(1) 隨着n值變大，5n^2+7n 和 3n^2 + 2n ，執行曲線重合, 說明 這種情況下, 5和3可以忽略。
(2) 而n^3+5n 和 6n^3+4n ，執行曲線分離，說明多少次方式關鍵。
1.3 時間複雜度
(1) 一般情況下，算法中的基本操作語句的重複執行次數是問題規模 n 的某個函數，用 T(n)表示，若有某個輔助函數 f(n)，使得當 n 趨近於無窮大時，T(n) / f(n) 的極限值爲不等於零的常數，則稱 f(n)是 T(n)的同數量級函數。記作 T(n)=Ｏ( f(n) )，稱Ｏ( f(n) ) 爲算法的漸進時間複雜度，簡稱時間複雜度。
(2) T(n) 不同，但時間複雜度可能相同。 如：T(n)=n²+7n+6 與 T(n)=3n²+2n+2 它們的 T(n) 不同，但時間複雜度相同，都爲 O(n²)。
(3)計算時間複雜度的方法：
a.用常數 1 代替運行時間中的所有加法常數 T(n)=3n²+2n+2 => T(n)=3n²+2n+1
b.修改後的運行次數函數中，只保留最高階項 T(n)=3n²+2n+1 => T(n) = 3n²
c.去除最高階項的係數 T(n) = 3n² => T(n) = n² => O(n²)
1.4 常見的時間複雜度
(1)常數階 O(1)
(2)對數階 O(log2n)
(3)線性階 O(n)
(4)線性對數階 O(nlog2n)
(5)平方階 O(n^2)
(6)立方階 O(n^3)
(7)k 次方階 O(n^k)
(8)指數階 O(2^n)
常見的時間複雜度對應的圖:
說明：
常見的算法時間複雜度由小到大依次爲：Ο(1)＜Ο(log2n)＜Ο(n)＜Ο(nlog2n)＜Ο(n2)＜Ο(n3)＜ Ο(nk) ＜Ο(2n) ，隨着問題規模n的不斷增大，上述時間複雜度不斷增大，算法的執行效率越低。從圖中可見，我們應該儘可能避免使用指數階的算法。
(1) 常數階O(1)
無論代碼執行了多少行，只要是沒有循環等複雜結構，那這個代碼的時間複雜度就都是O(1)。
上述代碼在執行的時候，它消耗的時候並不隨着某個變量的增長而增長，那麼無論這類代碼有多長，即使有幾萬幾十萬行，都可以用O(1)來表示它的時間複雜度。
(2) 對數階O(log2n)
說明：在while循環裏面，每次都將 i 乘以 2，乘完之後，i 距離 n 就越來越近了。假設循環x次之後，i 就大於 2 了，此時這個循環就退出了，也就是說 2 的 x 次方等於 n，那麼 x = log2n也就是說當循環 log2n 次以後，這個代碼就結束了。因此這個代碼的時間複雜度爲：O(log2n) 。O(log2n) 的這個2 時間上是根據代碼變化的，i = i * 3 ，則是 O(log3n) 。
(3) 線性階O(n)
說明：這段代碼，for循環裏面的代碼會執行n遍，因此它消耗的時間是隨着n的變化而變化的，因此這類代碼都可以用O(n)來表示它的時間複雜度
(4) 線性對數階O(nlogN)
說明：線性對數階O(nlogN) 其實非常容易理解，將時間複雜度爲O(logn)的代碼循環N遍的話，那麼它的時間複雜度就是 n * O(logN)，也就是了O(nlogN)
(5) 平方階O(n²)
說明：平方階O(n²) 就更容易理解了，如果把 O(n) 的代碼再嵌套循環一遍，它的時間複雜度就是 O(n²)，這段代碼其實就是嵌套了2層n循環，它的時間複雜度就是 O(nn)，即 O(n²) 如果將其中一層循環的n改成m，那它的時間複雜度就變成了 O(mn)。
(6) 立方階O(n³)、K次方階O(n^k)
說明：參考上面的O(n²) 去理解就好了，O(n³)相當於三層n循環，其它的類似。
1.5 平均時間複雜度和最壞時間複雜度
(1)平均時間複雜度是指所有可能的輸入實例均以等概率出現的情況下，該算法的運行時間。
(2)最壞情況下的時間複雜度稱最壞時間複雜度。 一般討論的時間複雜度均是最壞情況下的時間複雜度。 這樣做的原因是：最壞情況下的時間複雜度是算法在任何輸入實例上運行時間的界限，這就保證了算法的運行時間不會比最壞情況更長。
(3)平均時間複雜度和最壞時間複雜度是否一致，和算法有關，如圖：
2.算法的空間複雜度
(1) 類似於時間複雜度的討論，一個算法的空間複雜度(Space Complexity)定義爲該算法所耗費的存儲空間，它也是問題規模 n 的函數。
(2) 空間複雜度(Space Complexity)是對一個算法在運行過程中臨時佔用存儲空間大小的量度。有的算法需要佔用的臨時工作單元數與解決問題的規模 n 有關，它隨着 n 的增大而增大，當 n 較大時，將佔用較多的存儲單元，例如快速排序和歸併排序算法, 基數排序就屬於這種情況
(3) 在做算法分析時，主要討論的是時間複雜度。從用戶使用體驗上看，更看重的程序執行的速度。一些緩存產品(redis, memcache)和算法(基數排序)本質就是用空間換時間.