1.算法的概念

算法是計算機處理信息的本質。
因爲計算機程序本質上是一個算法來告訴計算機確切的步驟來執行一個指定的任務。
一般地，當算法在處理信息時，會從輸入設備或數據的存儲地址讀取數據，把結果寫入輸出設備或某個存儲地址供以後再調用。
算法是獨立存在的一種解決問題的方法和思想。
對於算法而言，實現的語言並不重要，重要的是思想。
算法可以有不同的語言描述實現版本，如Java、c、c++、python等。

2.算法等五大特徵

輸入: 算法具有0個或多個輸入
輸出: 算法至少有1個或多個輸出
有窮性: 算法在有限的步驟之後會自動結束而不會無限循環，並且每一個步驟可以在可接受的時間內完成
確定性：算法中的每一步都有確定的含義，不會出現二義性
可行性：算法的每一步都是可行的，也就是說每一步都能夠執行有限的次數完成

3.算法效率衡量

3.1 執行時間反應算法效率

有時候，我們對於同一個問題，設計使用不同等算法來解決，發現不同的程序進行實現的執行時間是由差異的，而且差異可能會很懸殊。所以實現算法程序的執行時間可以反應出算法的效率，即算法的優劣。

3.2 單靠時間值絕對可信嗎？

單純依靠運行的時間來比較算法的優劣並不一定是客觀準確的！
程序的運行離不開計算機環境（包括硬件和操作系統），這些客觀原因會影響程序運行的速度並反應在程序的執行時間上。
那麼如何才能客觀的評判一個算法的優劣呢？

3.3 時間複雜度與“大O記法”

我們假定計算機執行算法每一個基本操作的時間是固定的一個時間單位，那麼有多少個基本操作就代表會花費多少時間單位。雖然對於不同的機器環境而言，確切的單位時間是不同的，但是對於算法進行多少個基本操作（即花費多少時間單位）在規模數量級上卻是相同的，由此可以忽略機器環境的影響而客觀的反應算法的時間效率。
對於算法的時間效率，我們可以用“大O記法”來表示。
“大O記法”：對於單調的整數函數f，如果存在一個整數函數g和實常數c>0，使得對於充分大的n總有f(n)<=c*g(n)，就說函數g是f的一個漸近函數（忽略常數），記爲f(n)=O(g(n))。也就是說，在趨向無窮的極限意義下，函數f的增長速度受到函數g的約束，亦即函數f與函數g的特徵相似。
時間複雜度：假設存在函數g，使得算法A處理規模爲n的問題示例所用時間爲T(n)=O(g(n))，則稱O(g(n))爲算法A的漸近時間複雜度，簡稱時間複雜度，記爲T(n)。

3.4 如何理解“大O記法”

對於算法進行特別具體的細緻分析雖然很好，但在實踐中的實際價值有限。對於算法的時間性質和空間性質，最重要的是其數量級和趨勢，這些是分析算法效率的主要部分。而計量算法基本操作數量的規模函數中那些常量因子可以忽略不計。例如，可以認爲 $3n^2$ 和 $100n^2$ 屬於同一個量級，如果兩個算法處理同樣規模實例的代價分別爲這兩個函數，就認爲它們的效率“差不多”，都爲 $n^2$ 級。

3.5 最壞時間複雜度

分析算法時，存在幾種可能的考慮：

算法完成工作最少需要多少基本操作，即最優時間複雜度。
算法完成工作最多需要多少基本操作，即最壞時間複雜度。
算法完成工作平均需要多少基本操作，即平均時間複雜度。
[ 1 ] 對於最優時間複雜度，其價值不大，因爲它沒有提供什麼有用信息，其反映的只是最樂觀最理想的情況，沒有參考價值。
[ 2 ] 對於最壞時間複雜度，提供了一種保證，表明算法在此種程度的基本操作中一定能完成工作。
[ 3 ] 對於平均時間複雜度，是對算法的一個全面評價，因此它完整全面的反映了這個算法的性質。但另一方面，這種衡量並沒有保證，不是每個計算都能在這個基本操作內完成。而且，對於平均情況的計算，也會因爲應用算法的實例分佈可能並不均勻而難以計算。
因此，我們主要關注算法的最壞情況，亦即最壞時間複雜度

3.6 時間複雜度的幾條基本計算規則

基本操作，即只有常數項，認爲其時間複雜度爲O(1)
順序結構，時間複雜度按加法進行計算
循環結構，時間複雜度按乘法進行計算
分支結構，時間複雜度取最大值
判斷一個算法的效率時，往往只需要關注操作數量的最高次項，其它次要項和常數項可以忽略
在沒有特殊說明時，我們所分析的算法的時間複雜度都是指最壞時間複雜度

3.7 常見時間複雜度

執行次數函數舉例	階	非正式術語
12	O(1)	常數階
2n+3	O(n)	線性階
$3n^2+2n+1$	$O(n^2)$	平方階
$5\log_2 n+20$	O(logn)	對數階
$2n+3nlog_2n+19$	O(nlogn)	nlogn階
$6n^3+2n^2+3n+4$	O(n^3)	立方階
$2^n$	$O(2^n)$	指數階

3.8 常見時間複雜度之間的關係圖

所消耗的時間從小到大：
$O(1) < O(logn) < O(n) < O(nlogn) < O(n^2) < O(n^3) < O(2^n) < O(n!) < O(n^n)$

3.9 Python內置類型性能分析

3.9.1 list內置操作的時間複雜度

3.9.2 dict內置操作的時間複雜度

3.10 外延

python進行算法時間測試時常常用到的類方法介紹：

3.10.1 timeit模塊

timeit模塊可以用來測試一小段Python代碼的執行速度。
class timeit.Timer(stmt='pass', setup='pass', timer=<timer function>)
- Timer是測量小段代碼執行速度的類。
- stmt參數是要測試的代碼語句（statment）；
- setup參數是運行代碼時需要的設置；
- timer參數是一個定時器函數，與平臺有關。
timeit.Timer.timeit(number=1000000)
- Timer類中測試語句執行速度的對象方法。
- number參數是測試代碼時的測試次數，默認爲1000000次。方法返回執行代碼的平均耗時，一個float類型的秒數。

3.10.2 list的操作測試

def test1():
   l = []
   for i in range(1000):
      l = l + [i]
def test2():
   l = []
   for i in range(1000):
      l.append(i)
def test3():
   l = [i for i in range(1000)]
def test4():
   l = list(range(1000))

from timeit import Timer

t1 = Timer("test1()", "from __main__ import test1")
print("concat ",t1.timeit(number=1000), "seconds")
t2 = Timer("test2()", "from __main__ import test2")
print("append ",t2.timeit(number=1000), "seconds")
t3 = Timer("test3()", "from __main__ import test3")
print("comprehension ",t3.timeit(number=1000), "seconds")
t4 = Timer("test4()", "from __main__ import test4")
print("list range ",t4.timeit(number=1000), "seconds")

# ('concat ', 1.7890608310699463, 'seconds')
# ('append ', 0.13796091079711914, 'seconds')
# ('comprehension ', 0.05671119689941406, 'seconds')
# ('list range ', 0.014147043228149414, 'seconds')

3.10.3 pop操作測試

x = range(2000000)
pop_zero = Timer("x.pop(0)","from __main__ import x")
print("pop_zero ",pop_zero.timeit(number=1000), "seconds")
x = range(2000000)
pop_end = Timer("x.pop()","from __main__ import x")
print("pop_end ",pop_end.timeit(number=1000), "seconds")

# ('pop_zero ', 1.9101738929748535, 'seconds')
# ('pop_end ', 0.00023603439331054688, 'seconds')

4.數據結構

4.1 爲什麼需要數據結構？

拋出問題：我們如何用Python中的類型來保存一個班的學生信息？如果想要快速的通過學生姓名獲取其信息呢？
實際上當我們在思考這個問題的時候，我們已經用到了數據結構。列表和字典都可以存儲一個班的學生信息，但是想要在列表中獲取一名同學的信息時，就要遍歷這個列表，其時間複雜度爲O(n)，而使用字典存儲時，可將學生姓名作爲字典的鍵，學生信息作爲值，進而查詢時不需要遍歷便可快速獲取到學生信息，其時間複雜度爲O(1)。
我們爲了解決問題，需要將數據保存下來，然後根據數據的存儲方式來設計算法實現進行處理，那麼數據的存儲方式不同就會導致需要不同的算法進行處理。我們希望算法解決問題的效率越快越好，於是我們就需要考慮數據究竟如何保存的問題，這就是數據結構。
在上面的問題中我們可以選擇Python中的列表或字典來存儲學生信息。列表和字典就是Python內建幫我們封裝好的兩種數據結構。

4.2 概念

數據是一個抽象的概念，將其進行分類後得到程序設計語言中的基本類型。如：int，float，char等。數據元素之間不是獨立的，存在特定的關係，這些關係便是結構。
數據結構指數據對象中數據元素之間的關係。
Python給我們提供了很多現成的數據結構類型，這些系統自己定義好的，不需要我們自己去定義的數據結構叫做Python的內置數據結構，比如列表、元組、字典。而有些數據組織方式，Python系統裏面沒有直接定義，需要我們自己去定義實現這些數據的組織方式，這些數據組織方式稱之爲Python的擴展數據結構，比如棧，隊列等。

4.3 算法與數據結構的區別

數據結構只是靜態的描述了數據元素之間的關係。
高效的程序需要在數據結構的基礎上設計和選擇算法。
程序 = 數據結構 + 算法
總結：算法是爲了解決實際問題而設計的，數據結構是算法需要處理的問題載體

4.4 抽象數據類型(Abstract Data Type)

抽象數據類型(ADT)的含義是指一個數學模型以及定義在此數學模型上的一組操作。
即把數據類型和數據類型上的運算捆在一起，進行封裝。
引入抽象數據類型的目的是把數據類型的表示和數據類型上運算的實現與這些數據類型和運算在程序中的引用隔開，使它們相互獨立。
最常用的數據運算有五種（增刪改查排）：
- 插入
- 刪除
- 修改
- 查找
- 排序

（一）數據結構與算法——概念