程序員必知的10大基礎實用算法

  算法一:快速排序算法                                                                                                                             

  快速排序是由東尼·霍爾所發展的一種排序算法。在平均狀況下,排序 n 個項目要Ο(n log n)次比較。在最壞狀況下則需要Ο(n2) 次比較,但這種狀況並不常見。事實上,快速排序通常明顯比其他Ο(n log n) 算法更快,因爲它的內部循環(inner loop)可以在大部分的架構上很有效率地被實現出來。

  快速排序使用分治法(Divide and conquer)策略來把一個串行(list)分爲兩個子串行(sub-lists)。

  算法步驟:

  1 從數列中挑出一個元素,稱爲 “基準”(pivot),

  2 重新排序數列,所有元素比基準值小的擺放在基準前面,所有元素比基準值大的擺在基準的後面(相同的數可以到任一邊)。在這個分區退出之後,該基準就處於數列的中間位置。這個稱爲分區(partition)操作。

  3 遞歸地(recursive)把小於基準值元素的子數列和大於基準值元素的子數列排序。

  遞歸的最底部情形,是數列的大小是零或一,也就是永遠都已經被排序好了。雖然一直遞歸下去,但是這個算法總會退出,因爲在每次的迭代(iteration)中,它至少會把一個元素擺到它最後的位置去。

  算法二:堆排序算法

  堆排序(Heapsort)是指利用堆這種數據結構所設計的一種排序算法。堆積是一個近似完全二叉樹的結構,並同時滿足堆積的性質:即子結點的鍵值或索引總是小於(或者大於)它的父節點。

  堆排序的平均時間複雜度爲Ο(nlogn) 。

  算法步驟:

  1. 創建一個堆H[0..n-1]
  2. 把堆首(最大值)和堆尾互換

  3.  把堆的尺寸縮小1,並調用 shift_down (0),目的是把新的數組頂端數據調整到相應位置

  4.  重複步驟2,直到堆的尺寸爲1

程序員必須知道的 10 大基礎實用算法及其講解 - 第 2 張   快課網

  算法三:歸併排序

  歸併排序(Merge sort,臺灣譯作:合併排序)是建立在歸併操作上的一種有效的排序算法。該算法是採用分治法(Divide and Conquer)的一個非常典型的應用。

  算法步驟:

  1.  申請空間,使其大小爲兩個已經排序序列之和,該空間用來存放合併後的序列

  2.  設定兩個指針,最初位置分別爲兩個已經排序序列的起始位置

  3.  比較兩個指針所指向的元素,選擇相對小的元素放入到合併空間,並移動指針到下一位置

  4.  重複步驟 3 直到某一指針達到序列尾

  5.  將另一序列剩下的所有元素直接複製到合併序列尾

程序員必須知道的 10 大基礎實用算法及其講解 - 第 3 張   快課網

  算法四:二分查找算法

  二分查找算法是一種在有序數組中查找某一特定元素的搜索算法。搜素過程從數組的中間元素開始,如果中間元素正好是要查找的元素,則搜素過程結束;如果某一特定元素大於或者小於中間元素,則在數組大於或小於中間元素的那一半中查找,而且跟開始一樣從中間元素開始比較。如果在某一步驟數組爲空,則代表找不到。這種搜索算法每一次比較都使搜索範圍縮小一半。折半搜索每次把搜索區域減少一半,時間複雜度爲Ο(logn) 。

  算法五:BFPRT(線性查找算法)

  BFPRT 算法解決的問題十分經典,即從某n個元素的序列中選出第k大(第k小)的元素,通過巧妙的分析,BFPRT 可以保證在最壞情況下仍爲線性時間複雜度。該算法的思想與快速排序思想相似,當然,爲使得算法在最壞情況下,依然能達到o(n)的時間複雜度,五位算法作者做了精妙的處理。

  算法步驟:

  1.  將n個元素每 5 個一組,分成n/5(上界)組。

  2.  取出每一組的中位數,任意排序方法,比如插入排序。

  3.  遞歸的調用 selection 算法查找上一步中所有中位數的中位數,設爲x,偶數箇中位數的情況下設定爲選取中間小的一個。

  4.  用x來分割數組,設小於等於x的個數爲k,大於x的個數即爲n-k。

  5.  若i==k,返回x;若i<k,在小於x的元素中遞歸查找第i小的元素;若i>k,在大於x的元素中遞歸查找第i-k 小的元素。

  終止條件:n=1 時,返回的即是i小元素。

  算法六:DFS(深度優先搜索)

  深度優先搜索算法(Depth-First-Search),是搜索算法的一種。它沿着樹的深度遍歷樹的節點,儘可能深的搜索樹的分支。當節點v的所有邊都己被探尋過,搜索將回溯到發現節點v的那條邊的起始節點。這一過程一直進行到已發現從源節點可達的所有節點爲止。如果還存在未被發現的節點,則選擇其中一個作爲源節點並重復以上過程,整個進程反覆進行直到所有節點都被訪問爲止。DFS 屬於盲目搜索。

  深度優先搜索是圖論中的經典算法,利用深度優先搜索算法可以產生目標圖的相應拓撲排序表,利用拓撲排序表可以方便的解決很多相關的圖論問題,如最大路徑問題等等。一般用堆數據結構來輔助實現 DFS 算法。

  深度優先遍歷圖算法步驟:

  1.  訪問頂點v;

  2.  依次從v的未被訪問的鄰接點出發,對圖進行深度優先遍歷;直至圖中和v有路徑相通的頂點都被訪問;

  3.  若此時圖中尚有頂點未被訪問,則從一個未被訪問的頂點出發,重新進行深度優先遍歷,直到圖中所有頂點均被訪問過爲止。

  上述描述可能比較抽象,舉個實例:

  DFS 在訪問圖中某一起始頂點 v 後,由 v 出發,訪問它的任一鄰接頂點 w1;再從 w1 出發,訪問與 w1 鄰 接但還沒有訪問過的頂點 w2;然後再從 w2 出發,進行類似的訪問,… 如此進行下去,直至到達所有的鄰接頂點都被訪問過的頂點 u 爲止。

  接着,退回一步,退到前一次剛訪問過的頂點,看是否還有其它沒有被訪問的鄰接頂點。如果有,則訪問此頂點,之後再從此頂點出發,進行與前述類似的訪問;如果沒有,就再退回一步進行搜索。重複上述過程,直到連通圖中所有頂點都被訪問過爲止。

  算法七:BFS (廣度優先搜索)

  廣度優先搜索算法(Breadth-First-Search),是一種圖形搜索算法。簡單的說,BFS 是從根節點開始,沿着樹(圖)的寬度遍歷樹(圖)的節點。如果所有節點均被訪問,則算法中止。BFS 同樣屬於盲目搜索。一般用隊列數據結構來輔助實現 BFS 算法。

  算法步驟:

  1.  首先將根節點放入隊列中。

  2.  從隊列中取出第一個節點,並檢驗它是否爲目標。

    • 如果找到目標,則結束搜尋並回傳結果。
    • 否則將它所有尚未檢驗過的直接子節點加入隊列中。

  3.  若隊列爲空,表示整張圖都檢查過了——亦即圖中沒有欲搜尋的目標。結束搜尋並回傳“找不到目標”。

  4.  重複步驟2。

  算法八:Dijkstra算法

  戴克斯特拉算法(Dijkstra’s algorithm)是由荷蘭計算機科學家艾茲赫爾·戴克斯特拉提出。迪科斯徹算法使用了廣度優先搜索解決非負權有向圖的單源最短路徑問題,算法最終得到一個最短路徑樹。該算法常用於路由算法或者作爲其他圖算法的一個子模塊。

  該算法的輸入包含了一個有權重的有向圖 G,以及G中的一個來源頂點 S。我們以 V 表示 G 中所有頂點的集合。每一個圖中的邊,都是兩個頂點所形成的有序元素對。(u, v) 表示從頂點 u 到 v 有路徑相連。我們以 E 表示G中所有邊的集合,而邊的權重則由權重函數 w: E → [0, ∞] 定義。因此,w(u, v) 就是從頂點 u 到頂點 v 的非負權重(weight)。邊的權重可以想像成兩個頂點之間的距離。任兩點間路徑的權重,就是該路徑上所有邊的權重總和。已知有 V 中有頂點 s 及 t,Dijkstra 算法可以找到 s 到 t的最低權重路徑(例如,最短路徑)。這個算法也可以在一個圖中,找到從一個頂點 s 到任何其他頂點的最短路徑。對於不含負權的有向圖,Dijkstra 算法是目前已知的最快的單源最短路徑算法。

  算法步驟:

  1.  初始時令 S={V0},T={其餘頂點},T中頂點對應的距離值

  若存在<V0,Vi>,d(V0,Vi)爲<V0,Vi>弧上的權值

  若不存在<V0,Vi>,d(V0,Vi)爲∞

  2.  從T中選取一個其距離值爲最小的頂點W且不在S中,加入S

  3.  對其餘T中頂點的距離值進行修改:若加進W作中間頂點,從 V0 到 Vi 的距離值縮短,則修改此距離值

  重複上述步驟2、3,直到S中包含所有頂點,即W=Vi 爲止

程序員必須知道的 10 大基礎實用算法及其講解 - 第 5 張   快課網

  算法九:動態規劃算法

  動態規劃(Dynamic programming)是一種在數學、計算機科學和經濟學中使用的,通過把原問題分解爲相對簡單的子問題的方式求解複雜問題的方法。 動態規劃常常適用於有重疊子問題和最優子結構性質的問題,動態規劃方法所耗時間往往遠少於樸素解法。

  動態規劃背後的基本思想非常簡單。大致上,若要解一個給定問題,我們需要解其不同部分(即子問題),再合併子問題的解以得出原問題的解。 通常許多子問題非常相似,爲此動態規劃法試圖僅僅解決每個子問題一次,從而減少計算量: 一旦某個給定子問題的解已經算出,則將其記憶化存儲,以便下次需要同一個子問題解之時直接查表。 這種做法在重複子問題的數目關於輸入的規模呈指數增長時特別有用。

  關於動態規劃最經典的問題當屬揹包問題。

  算法步驟:

  1.  最優子結構性質。如果問題的最優解所包含的子問題的解也是最優的,我們就稱該問題具有最優子結構性質(即滿足最優化原理)。最優子結構性質爲動態規劃算法解決問題提供了重要線索。

  2.  子問題重疊性質。子問題重疊性質是指在用遞歸算法自頂向下對問題進行求解時,每次產生的子問題並不總是新問題,有些子問題會被重複計算多次。動態規劃算法正是利用了這種子問題的重疊性質,對每一個子問題只計算一次,然後將其計算結果保存在一個表格中,當再次需要計算已經計算過的子問題時,只是在表格中簡單地查看一下結果,從而獲得較高的效率。

  算法十:樸素貝葉斯分類算法

  樸素貝葉斯分類算法是一種基於貝葉斯定理的簡單概率分類算法。貝葉斯分類的基礎是概率推理,就是在各種條件的存在不確定,僅知其出現概率的情況下,如何完成推理和決策任務。概率推理是與確定性推理相對應的。而樸素貝葉斯分類器是基於獨立假設的,即假設樣本每個特徵與其他特徵都不相關。

  樸素貝葉斯分類器依靠精確的自然概率模型,在有監督學習的樣本集中能獲取得非常好的分類效果。在許多實際應用中,樸素貝葉斯模型參數估計使用最大似然估計方法,換言之樸素貝葉斯模型能工作並沒有用到貝葉斯概率或者任何貝葉斯模型。

  儘管是帶着這些樸素思想和過於簡單化的假設,但樸素貝葉斯分類器在很多複雜的現實情形中仍能夠取得相當好的效果。

發佈了11 篇原創文章 · 獲贊 13 · 訪問量 17萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章