海量數據的topK問題

問題描述：有N(N>>10000)個整數,求出其中的前K個最大的數。（稱作Top k或者Top 10）

問題分析：由於(1)輸入的大量數據；(2)只要前K個，對整個輸入數據的保存和排序是相當的不可取的。

　　可以利用數據結構的最小堆來處理該問題。

　 最小堆如圖所示，對於每個非葉子節點的數值，一定不大於孩子節點的數值。這樣可用含有K個節點的最小堆來保存K個目前的最大值(當然根節點是其中的最小數值)。

　每次有數據輸入的時候可以先與根節點比較。若不大於根節點，則捨棄；否則用新數值替換根節點數值。並進行最小堆的調整。如下圖:

import java.util.Scanner; /** * @author 浩 * @version 創建時間：2016年5月17日 上午8:46:03 */ public class TopK { public static final int K =10; public static void main(String[] args) { Scanner in = new Scanner(System.in); int []max = new int[10]; for(int i=0;i<10;i++){ max[i] = in.nextInt(); } buildHeap(max); while(in.hasNextInt()){ handler(max,in.nextInt()); for(int x:max){ System.out.print(x+" "); } System.out.println(); } } public static void handler(int []a,int tmp){ if(a[0]<tmp){ a[0]=tmp; uptoDown(a, 0); } } public static void uptoDown(int a[],int i){ int t1,t2,tmp,pos; t1 = i*2+1; t2 = t1+1; if(t1>K-1){ //沒有左孩子 return; }else{ if(t2>K-1){ //只有左孩子 pos = t1; //左右孩子最小的就是 左孩子 因爲沒有右孩子 }else{ //左右孩子都有 找到最小的 pos=(a[t1]>a[t2])?t2:t1; } if(a[i]>a[pos]){ tmp = a[i]; a[i] = a[pos]; a[pos] = tmp; uptoDown(a, pos); } } } }