概述
排序有內部排序和外部排序,內部排序是數據記錄在內存中進行排序,而外部排序是因排序的數據很大,一次不能容納全部的排序記錄,在排序過程中需要訪問外存。
我們這裏說說八大排序就是內部排序。
當n較大,則應採用時間複雜度爲O(nlog2n)的排序方法:快速排序、堆排序或歸併排序序。
快速排序:是目前基於比較的內部排序中被認爲是最好的方法,當待排序的關鍵字是隨機分佈時,快速排序的平均時間最短;
1.插入排序—直接插入排序(Straight
Insertion Sort)
基本思想:
將一個記錄插入到已排序好的有序表中,從而得到一個新,記錄數增1的有序表。即:先將序列的第1個記錄看成是一個有序的子序列,然後從第2個記錄逐個進行插入,直至整個序列有序爲止。
要點:設立哨兵,作爲臨時存儲和判斷數組邊界之用。
直接插入排序示例:
如果碰見一個和插入元素相等的,那麼插入元素把想插入的元素放在相等元素的後面。所以,相等元素的前後順序沒有改變,從原無序序列出去的順序就是排好序後的順序,所以插入排序是穩定的。
算法的實現:
效率:
時間複雜度:O(n^2).
其他的插入排序有二分插入排序,2-路插入排序。
2. 插入排序—折半插入排序(二分插入)
將有序數列折半,看看插入到哪個序列中去
3.
插入排序—希爾排序(Shell`s Sort)
希爾排序是1959 年由D.L.Shell 提出來的,相對直接排序有較大的改進。希爾排序又叫縮小增量排序
基本思想:
先將整個待排序的記錄序列分割成爲若干子序列分別進行直接插入排序,待整個序列中的記錄“基本有序”時,再對全體記錄進行依次直接插入排序。
操作方法:
- 選擇一個增量序列t1,t2,…,tk,其中ti>tj,tk=1;
- 按增量序列個數k,對序列進行k 趟排序;
- 每趟排序,根據對應的增量ti,將待排序列分割成若干長度爲m 的子序列,分別對各子表進行直接插入排序。僅增量因子爲1 時,整個序列作爲一個表來處理,表長度即爲整個序列的長度。
希爾排序的示例:
算法實現:
我們簡單處理增量序列:增量序列d = {n/2 ,n/4, n/8 .....1} n爲要排序數的個數
即:先將要排序的一組記錄按某個增量d(n/2,n爲要排序數的個數)分成若干組子序列,每組中記錄的下標相差d.對每組中全部元素進行直接插入排序,然後再用一個較小的增量(d/2)對它進行分組,在每組中再進行直接插入排序。繼續不斷縮小增量直至爲1,最後使用直接插入排序完成排序。
4. 選擇排序—簡單選擇排序(Simple Selection Sort)
基本思想:
在要排序的一組數中,選出最小(或者最大)的一個數與第1個位置的數交換;然後在剩下的數當中再找最小(或者最大)的與第2個位置的數交換,依次類推,直到第n-1個元素(倒數第二個數)和第n個元素(最後一個數)比較爲止。
簡單選擇排序的示例:
操作方法:
第一趟,從n 個記錄中找出關鍵碼最小的記錄與第一個記錄交換;
第二趟,從第二個記錄開始的n-1 個記錄中再選出關鍵碼最小的記錄與第二個記錄交換;
以此類推.....
第i 趟,則從第i 個記錄開始的n-i+1 個記錄中選出關鍵碼最小的記錄與第i 個記錄交換,
直到整個序列按關鍵碼有序。
算法實現:
簡單選擇排序的改進——二元選擇排序(有bug)
參考另一篇:http://blog.csdn.net/ye_scofield/article/details/39312717
簡單選擇排序,每趟循環只能確定一個元素排序後的定位。我們可以考慮改進爲每趟循環確定兩個元素(當前趟最大和最小記錄)的位置,從而減少排序所需的循環次數。改進後對n個數據進行排序,最多隻需進行[n/2]趟循環即可。具體實現如下:
- void SelectSort(int r[],int n) {
- int i ,j , min ,max, tmp;
- for (i=1 ;i <= n/2;i++) {
- // 做不超過n/2趟選擇排序
- min = i; max = i ; //分別記錄最大和最小關鍵字記錄位置
- for (j= i+1; j<= n-i; j++) {
- if (r[j] > r[max]) {
- max = j ; continue ;
- }
- if (r[j]< r[min]) {
- min = j ;
- }
- }
- //該交換操作還可分情況討論以提高效率
- tmp = r[i-1]; r[i-1] = r[min]; r[min] = tmp;
- tmp = r[n-i]; r[n-i] = r[max]; r[max] = tmp;
- }
- }
5.
選擇排序—堆排序(Heap Sort)
堆排序是一種樹形選擇排序,是對直接選擇排序的有效改進。基本思想:
堆的定義如下:具有n個元素的序列(k1,k2,...,kn),當且僅當滿足
時稱之爲堆。由堆的定義可以看出,堆頂元素(即第一個元素)必爲最小項(小頂堆)。
若以一維數組存儲一個堆,則堆對應一棵完全二叉樹,且所有非葉結點的值均不大於(或不小於)其子女的值,根結點(堆頂元素)的值是最小(或最大)的。如:
(a)大頂堆序列:(96, 83,27,38,11,09)
(b) 小頂堆序列:(12,36,24,85,47,30,53,91)
初始時把要排序的n個數的序列看作是一棵順序存儲的二叉樹(一維數組存儲二叉樹),調整它們的存儲序,使之成爲一個堆,將堆頂元素輸出,得到n 個元素中最小(或最大)的元素,這時堆的根節點的數最小(或者最大)。然後對前面(n-1)個元素重新調整使之成爲堆,輸出堆頂元素,得到n 個元素中次小(或次大)的元素。依此類推,直到只有兩個節點的堆,並對它們作交換,最後得到有n個節點的有序序列。稱這個過程爲堆排序。
因此,實現堆排序需解決兩個問題:
1. 如何將n 個待排序的數建成堆;
2. 輸出堆頂元素後,怎樣調整剩餘n-1 個元素,使其成爲一個新堆。
首先討論第二個問題:輸出堆頂元素後,對剩餘n-1元素重新建成堆的調整過程。
調整小頂堆的方法:
1)設有m 個元素的堆,輸出堆頂元素後,剩下m-1 個元素。將堆底元素送入堆頂((最後一個元素與堆頂進行交換),堆被破壞,其原因僅是根結點不滿足堆的性質。
2)將根結點與左、右子樹中較小元素的進行交換。
3)若與左子樹交換:如果左子樹堆被破壞,即左子樹的根結點不滿足堆的性質,則重複方法 (2).
4)若與右子樹交換,如果右子樹堆被破壞,即右子樹的根結點不滿足堆的性質。則重複方法 (2).
5)繼續對不滿足堆性質的子樹進行上述交換操作,直到葉子結點,堆被建成。
稱這個自根結點到葉子結點的調整過程爲篩選。如圖:
再討論對n 個元素初始建堆的過程。
建堆方法:對初始序列建堆的過程,就是一個反覆進行篩選的過程。
1)n 個結點的完全二叉樹,則最後一個結點是第個結點的子樹。
2)篩選從第個結點爲根的子樹開始,該子樹成爲堆。
3)之後向前依次對各結點爲根的子樹進行篩選,使之成爲堆,直到根結點。
如圖建堆初始過程:無序序列:(49,38,65,97,76,13,27,49)
算法的實現:
從算法描述來看,堆排序需要兩個過程,一是建立堆,二是堆頂與堆的最後一個元素交換位置。所以堆排序有兩個函數組成。一是建堆的滲透函數,二是反覆調用滲透函數實現排序的函數。
分析:
設樹深度爲k,。從根到葉的篩選,元素比較次數至多2(k-1)次,交換記錄至多k 次。所以,在建好堆後,排序過程中的篩選次數不超過下式:
而建堆時的比較次數不超過4n 次,因此堆排序最壞情況下,時間複雜度也爲:O(nlogn )。
6. 交換排序—冒泡排序(Bubble Sort)
基本思想:
在要排序的一組數中,對當前還未排好序的範圍內的全部數,自上而下對相鄰的兩個數依次進行比較和調整,讓較大的數往下沉,較小的往上冒。即:每當兩相鄰的數比較後發現它們的排序與排序要求相反時,就將它們互換。
冒泡排序的示例:
算法的實現:
冒泡排序算法的改進
對冒泡排序常見的改進方法是加入一標誌性變量exchange,用於標誌某一趟排序過程中是否有數據交換,如果進行某一趟排序時並沒有進行數據交換,則說明數據已經按要求排列好,可立即結束排序,避免不必要的比較過程。本文再提供以下兩種改進算法:
1.設置一標誌性變量pos,用於記錄每趟排序中最後一次進行交換的位置。由於pos位置之後的記錄均已交換到位,故在進行下一趟排序時只要掃描到pos位置即可。
改進後算法如下:
2.改進後的算法實現爲:
3.傳統冒泡排序中每一趟排序操作只能找到一個最大值或最小值,我們考慮利用在每趟排序中進行正向和反向兩遍冒泡的方法一次可以得到兩個最終值(最大者和最小者) , 從而使排序趟數幾乎減少了一半。
改進後的算法實現爲:
7. 交換排序—快速排序(Quick Sort)
基本思想:
1)選擇一個基準元素,通常選擇第一個元素或者最後一個元素,
2)通過一趟排序講待排序的記錄分割成獨立的兩部分,其中一部分記錄的元素值均比基準元素值小。另一部分記錄的 元素值比基準值大。
3)此時基準元素在其排好序後的正確位置
4)然後分別對這兩部分記錄用同樣的方法繼續進行排序,直到整個序列有序。
快速排序的示例:
(a)一趟排序的過程:
(b)排序的全過程
算法的實現:
遞歸實現:
分析:
快速排序是通常被認爲在同數量級(O(nlog2n))的排序方法中平均性能最好的。但若初始序列按關鍵碼有序或基本有序時,快排序反而蛻化爲冒泡排序。爲改進之,通常以“三者取中法”來選取基準記錄,即將排序區間的兩個端點與中點三個記錄關鍵碼居中的調整爲支點記錄。快速排序是一個不穩定的排序方法。
快速排序的改進
在本改進算法中,只對長度大於k的子序列遞歸調用快速排序,讓原序列基本有序,然後再對整個基本有序序列用插入排序算法排序。實踐證明,改進後的算法時間複雜度有所降低,且當k取值爲 8 左右時,改進算法的性能最佳。算法思想如下:
參考:http://blog.csdn.net/hguisu/article/details/7776068
- void print(int a[], int n){
- for(int j= 0; j<n; j++){
- cout<<a[j] <<" ";
- }
- cout<<endl;
- }
- void swap(int *a, int *b)
- {
- int tmp = *a;
- *a = *b;
- *b = tmp;
- }
- int partition(int a[], int low, int high)
- {
- int privotKey = a[low]; //基準元素
- while(low < high){ //從表的兩端交替地向中間掃描
- while(low < high && a[high] >= privotKey) --high; //從high 所指位置向前搜索,至多到low+1 位置。將比基準元素小的交換到低端
- swap(&a[low], &a[high]);
- while(low < high && a[low] <= privotKey ) ++low;
- swap(&a[low], &a[high]);
- }
- print(a,10);
- return low;
- }
- void qsort_improve(int r[ ],int low,int high, int k){
- if( high -low > k ) { //長度大於k時遞歸, k爲指定的數
- int pivot = partition(r, low, high); // 調用的Partition算法保持不變
- qsort_improve(r, low, pivot - 1,k);
- qsort_improve(r, pivot + 1, high,k);
- }
- }
- void quickSort(int r[], int n, int k){
- qsort_improve(r,0,n,k);//先調用改進算法Qsort使之基本有序
- //再用插入排序對基本有序序列排序
- for(int i=1; i<=n;i ++){
- int tmp = r[i];
- int j=i-1;
- while(tmp < r[j]){
- r[j+1]=r[j]; j=j-1;
- }
- r[j+1] = tmp;
- }
- }
- int main(){
- int a[10] = {3,1,5,7,2,4,9,6,10,8};
- cout<<"初始值:";
- print(a,10);
- quickSort(a,9,4);
- cout<<"結果:";
- print(a,10);
- }
8.
歸併排序(Merge Sort)
基本思想:
歸併(Merge)排序法是將兩個(或兩個以上)有序表合併成一個新的有序表,即把待排序序列分爲若干個子序列,每個子序列是有序的。然後再把有序子序列合併爲整體有序序列。
歸併排序示例:
合併方法:
設r[i…n]由兩個有序子表r[i…m]和r[m+1…n]組成,兩個子表長度分別爲n-i +1、n-m。
- j=m+1;k=i;i=i; //置兩個子表的起始下標及輔助數組的起始下標
- 若i>m 或j>n,轉⑷ //其中一個子表已合併完,比較選取結束
- //選取r[i]和r[j]較小的存入輔助數組rf
如果r[i]<r[j],rf[k]=r[i]; i++; k++; 轉⑵
否則,rf[k]=r[j]; j++; k++; 轉⑵ - //將尚未處理完的子表中元素存入rf
如果i<=m,將r[i…m]存入rf[k…n] //前一子表非空
如果j<=n , 將r[j…n] 存入rf[k…n] //後一子表非空 - 合併結束。
兩路歸併的遞歸算法
完整程序
9. 桶排序/基數排序(Radix Sort)
說基數排序之前,我們先說桶排序:
基本思想:是將陣列分到有限數量的桶子裏。每個桶子再個別排序(有可能再使用別的排序算法或是以遞迴方式繼續使用桶排序進行排序)。桶排序是鴿巢排序的一種歸納結果。當要被排序的陣列內的數值是均勻分配的時候,桶排序使用線性時間(Θ(n))。但桶排序並不是 比較排序,他不受到 O(n log n) 下限的影響。
簡單來說,就是把數據分組,放在一個個的桶中,然後對每個桶裏面的在進行排序。
例如要對大小爲[1..1000]範圍內的n個整數A[1..n]排序
首先,可以把桶設爲大小爲10的範圍,具體而言,設集合B[1]存儲[1..10]的整數,集合B[2]存儲 (10..20]的整數,……集合B[i]存儲( (i-1)*10, i*10]的整數,i = 1,2,..100。總共有 100個桶。
然後,對A[1..n]從頭到尾掃描一遍,把每個A[i]放入對應的桶B[j]中。 再對這100個桶中每個桶裏的數字排序,這時可用冒泡,選擇,乃至快排,一般來說任 何排序法都可以。
最後,依次輸出每個桶裏面的數字,且每個桶中的數字從小到大輸出,這 樣就得到所有數字排好序的一個序列了。
假設有n個數字,有m個桶,如果數字是平均分佈的,則每個桶裏面平均有n/m個數字。如果
對每個桶中的數字採用快速排序,那麼整個算法的複雜度是
O(n + m * n/m*log(n/m)) = O(n + nlogn - nlogm)
從上式看出,當m接近n的時候,桶排序複雜度接近O(n)
當然,以上複雜度的計算是基於輸入的n個數字是平均分佈這個假設的。這個假設是很強的 ,實際應用中效果並沒有這麼好。如果所有的數字都落在同一個桶中,那就退化成一般的排序了。
前面說的幾大排序算法 ,大部分時間複雜度都是O(n2),也有部分排序算法時間複雜度是O(nlogn)。而桶式排序卻能實現O(n)的時間複雜度。但桶排序的缺點是:
1)首先是空間複雜度比較高,需要的額外開銷大。排序有兩個數組的空間開銷,一個存放待排序數組,一個就是所謂的桶,比如待排序值是從0到m-1,那就需要m個桶,這個桶數組就要至少m個空間。
2)其次待排序的元素都要在一定的範圍內等等。
桶式排序是一種分配排序。分配排序的特定是不需要進行關鍵碼的比較,但前提是要知道待排序列的一些具體情況。
分配排序的基本思想:說白了就是進行多次的桶式排序。
基數排序過程無須比較關鍵字,而是通過“分配”和“收集”過程來實現排序。它們的時間複雜度可達到線性階:O(n)。
實例:
撲克牌中52 張牌,可按花色和麪值分成兩個字段,其大小關係爲:
花色: 梅花< 方塊< 紅心< 黑心
面值: 2 < 3 < 4 < 5 < 6 < 7 < 8 < 9 < 10 < J < Q < K < A
若對撲克牌按花色、面值進行升序排序,得到如下序列:
即兩張牌,若花色不同,不論面值怎樣,花色低的那張牌小於花色高的,只有在同花色情況下,大小關係才由面值的大小確定。這就是多關鍵碼排序。
爲得到排序結果,我們討論兩種排序方法。
方法1:先對花色排序,將其分爲4 個組,即梅花組、方塊組、紅心組、黑心組。再對每個組分別按面值進行排序,最後,將4 個組連接起來即可。
方法2:先按13 個面值給出13 個編號組(2 號,3 號,...,A 號),將牌按面值依次放入對應的編號組,分成13 堆。再按花色給出4 個編號組(梅花、方塊、紅心、黑心),將2號組中牌取出分別放入對應花色組,再將3 號組中牌取出分別放入對應花色組,……,這樣,4
個花色組中均按面值有序,然後,將4 個花色組依次連接起來即可。
設n 個元素的待排序列包含d 個關鍵碼{k1,k2,…,kd},則稱序列對關鍵碼{k1,k2,…,kd}有序是指:對於序列中任兩個記錄r[i]和r[j](1≤i≤j≤n)都滿足下列有序關係:
其中k1 稱爲最主位關鍵碼,kd 稱爲最次位關鍵碼 。
兩種多關鍵碼排序方法:
多關鍵碼排序按照從最主位關鍵碼到最次位關鍵碼或從最次位到最主位關鍵碼的順序逐次排序,分兩種方法:
最高位優先(Most Significant Digit first)法,簡稱MSD 法:
1)先按k1 排序分組,將序列分成若干子序列,同一組序列的記錄中,關鍵碼k1 相等。
2)再對各組按k2 排序分成子組,之後,對後面的關鍵碼繼續這樣的排序分組,直到按最次位關鍵碼kd 對各子組排序後。
3)再將各組連接起來,便得到一個有序序列。撲克牌按花色、面值排序中介紹的方法一即是MSD 法。
最低位優先(Least Significant Digit first)法,簡稱LSD 法:
1) 先從kd 開始排序,再對kd-1進行排序,依次重複,直到按k1排序分組分成最小的子序列後。
2) 最後將各個子序列連接起來,便可得到一個有序的序列, 撲克牌按花色、面值排序中介紹的方法二即是LSD 法。
基於LSD方法的鏈式基數排序的基本思想
“多關鍵字排序”的思想實現“單關鍵字排序”。對數字型或字符型的單關鍵字,可以看作由多個數位或多個字符構成的多關鍵字,此時可以採用“分配-收集”的方法進行排序,這一過程稱作基數排序法,其中每個數字或字符可能的取值個數稱爲基數。比如,撲克牌的花色基數爲4,面值基數爲13。在整理撲克牌時,既可以先按花色整理,也可以先按面值整理。按花色整理時,先按紅、黑、方、花的順序分成4摞(分配),再按此順序再疊放在一起(收集),然後按面值的順序分成13摞(分配),再按此順序疊放在一起(收集),如此進行二次分配和收集即可將撲克牌排列有序。
基數排序:
是按照低位先排序,然後收集;再按照高位排序,然後再收集;依次類推,直到最高位。有時候有些屬性是有優先級順序的,先按低優先級排序,再按高優先級排序。最後的次序就是高優先級高的在前,高優先級相同的低優先級高的在前。基數排序基於分別排序,分別收集,所以是穩定的。
算法實現:
- Void RadixSort(Node L[],length,maxradix)
- {
- int m,n,k,lsp;
- k=1;m=1;
- int temp[10][length-1];
- Empty(temp); //清空臨時空間
- while(k<maxradix) //遍歷所有關鍵字
- {
- for(int i=0;i<length;i++) //分配過程
- {
- if(L[i]<m)
- Temp[0][n]=L[i];
- else
- Lsp=(L[i]/m)%10; //確定關鍵字
- Temp[lsp][n]=L[i];
- n++;
- }
- CollectElement(L,Temp); //收集
- n=0;
- m=m*10;
- k++;
- }
- }
總結
各種排序的穩定性,時間複雜度和空間複雜度總結:
我們比較時間複雜度函數的情況:
時間複雜度函數O(n)的增長情況
所以對n較大的排序記錄。一般的選擇都是時間複雜度爲O(nlog2n)的排序方法。
時間複雜度來說:
(1)平方階(O(n2))排序
各類簡單排序:直接插入、直接選擇和冒泡排序;
(2)線性對數階(O(nlog2n))排序
快速排序、堆排序和歸併排序;
(3)O(n1+§))排序,§是介於0和1之間的常數。
希爾排序
(4)線性階(O(n))排序
基數排序,此外還有桶、箱排序。
說明:
當原表有序或基本有序時,直接插入排序和冒泡排序將大大減少比較次數和移動記錄的次數,時間複雜度可降至O(n);
而快速排序則相反,當原表基本有序時,將蛻化爲冒泡排序,時間複雜度提高爲O(n2);
原表是否有序,對簡單選擇排序、堆排序、歸併排序和基數排序的時間複雜度影響不大。
穩定性:
排序算法的穩定性:若待排序的序列中,存在多個具有相同關鍵字的記錄,經過排序,
這些記錄的相對次序保持不變,則稱該算法是穩定的;若經排序後,記錄的相對 次序發生了改變,則稱該算法是不穩定的。
穩定性的好處:排序算法如果是穩定的,那麼從一個鍵上排序,然後再從另一個鍵上排序,第一個鍵排序的結果可以爲第二個鍵排序所用。基數排序就是這樣,先按低位排序,逐次按高位排序,低位相同的元素其順序再高位也相同時是不會改變的。另外,如果排序算法穩定,可以避免多餘的比較;
穩定的排序算法:冒泡排序、插入排序、歸併排序和基數排序
不是穩定的排序算法:選擇排序、快速排序、希爾排序、堆排序
選擇排序算法準則:
每種排序算法都各有優缺點。因此,在實用時需根據不同情況適當選用,甚至可以將多種方法結合起來使用。
選擇排序算法的依據
影響排序的因素有很多,平均時間複雜度低的算法並不一定就是最優的。相反,有時平均時間複雜度高的算法可能更適合某些特殊情況。同時,選擇算法時還得考慮它的可讀性,以利於軟件的維護。一般而言,需要考慮的因素有以下四點:
1.待排序的記錄數目n的大小;
2.記錄本身數據量的大小,也就是記錄中除關鍵字外的其他信息量的大小;
3.關鍵字的結構及其分佈情況;
4.對排序穩定性的要求。
設待排序元素的個數爲n.
1)當n較大,則應採用時間複雜度爲O(nlog2n)的排序方法:快速排序、堆排序或歸併排序序。
快速排序:是目前基於比較的內部排序中被認爲是最好的方法,當待排序的關鍵字是隨機分佈時,快速排序的平均時間最短;
堆排序 :
如果內存空間允許且要求穩定性的,
歸併排序:它有一定數量的數據移動,所以我們可能過與插入排序組合,先獲得一定長度的序列,然後再合併,在效率上將有所提高。
2)當n較大,內存空間允許,且要求穩定性 =》歸併排序
3)當n較小,可採用直接插入或直接選擇排序。
直接插入排序:當元素分佈有序,直接插入排序將大大減少比較次數和移動記錄的次數。
直接選擇排序 :元素分佈有序,如果不要求穩定性,選擇直接選擇排序
5)一般不使用或不直接使用傳統的冒泡排序。
6)基數排序
它是一種穩定的排序算法,但有一定的侷限性:
1、關鍵字可分解。
2、記錄的關鍵字位數較少,如果密集更好
3、如果是數字時,最好是無符號的,否則將增加相應的映射複雜度,可先將其正負分開排序。
參考:http://blog.csdn.net/hguisu/article/details/7776068