【算法精練】Top K問題

topK問題是一個經典的海量數據處理問題，比如熱搜上每天都會更新出排行前10的熱門搜索信息，再或者通過大數據找出陝西省人最愛喫的水果等，都可以使用topK問題來解決，其核心思想就是最小堆的引入。

topK問題分析

在海量數據中找出出現頻率最高的前k個數，或者從海量數據中找出最大的前k個數，這類問題通常被稱爲top K問題。

下面我們通過一個簡單的示例來說明：假如面試官給你100W個數據，請找出其中最大的前K個數，並且現在僅僅有1M的空間？

在32位操作系統中，默認一個字爲4字節，則有以下運算：

NeedSize = 100w * 4 / 1024 / 1024 = 4 M

計算結果約等於4M，很顯然1M的空間根本不夠。也就是說，即使用最複雜的方法排序你也無法找到一個合適的空間來存儲，因此引入了最小堆的數據結構。

當然假如這道題不再限制空間的大小，你會如何解決？可能不少人會說排序啊，下面我給大家證明一下時間複雜度：

設在n個數中找出最大的前k個數(n遠大於k)

1>排序的時間複雜度：O（n^2）

2>最小堆的時間複雜度：

         ①建堆：klogk （logk是以2爲底）

         ②比較+調整：（n-k）* logk 

若：klogk + (n-k)*logk > n^2,則排序的時間複雜度低.

即：k > 2^n.

因爲：k遠小於n

所以：此情況不存在,最小堆的時間複雜度最優.

我只說核心實現思路，不再獒述堆的實現，對此不解的查看最大堆和最小堆。思路如下：

① 定義兩個數組，arr用於存儲海量數據，top用於存儲最小堆（底層數據結構藉助vector）。

② 將海量數據的前k個元素先填滿top堆。

③ 調整top堆爲最小堆結構。

④ 通過遍歷將新數據與堆頂元素（此時堆頂元素最小）比較，大於堆頂元素就入堆，並下調堆結構。

⑤ 遍歷結束，則堆中的元素即n個數中最大的前k個數。

//topK.h
#pragma once
#include <iostream>
#include <assert.h>
#include <time.h>
#define K 10
#define N 100000
using namespace std;
//向下調整(最小堆)
template<class T>
void Adjustdown(T* top, size_t root)
{
	assert(root < K);
	size_t parent = root;
	size_t child = 2 * parent + 1;
	while (parent < K)
	{
		//右孩子存在且小於K且右孩子小於左孩子
		if (child + 1 < K && top[child + 1] < top[child])
			child++;//將child指向更小的結點
		//當前較小孩子小於父節點時交換，並下濾
		if (child < K && top[child] < top[parent])
		{
			std::swap(top[child], top[parent]);
			parent = child;
			child = child << 1 + 1;
		}
		else
			break;
	}
}
template<class T>
void topK(T *arr, T *top)
{
	assert(K < N);
	//將top數組存儲滿
	for (size_t i = 0; i < K; ++i)
	{
		top[i] = arr[i];
	}
	//下調
	for (int j = (K - 2) >> 1; j >= 0; --j)
	{
		Adjustdown(top, j);
	}
	for (size_t k = K; k < N; ++k)
	{
		if (top[0] < arr[k])//堆頂小於新比較的元素交換
		{
			std::swap(top[0], arr[k]);
			Adjustdown(top, 0);//調整最小堆的結構
		}
	}
	//遍歷完成，top數據內存儲的就是最大的前K個數
	for (size_t idx = 0; idx < K; ++idx)
	{
		cout << top[idx] << " ";
	}
	cout << endl;
}

//test.cpp
#include "topk.h"
void Test()
{
	int arr[N] = { 0 };
	int top[K] = { 0 };
	srand((unsigned)time(0));//隨機種子
	for (size_t idx = 0; idx < N; ++idx)
	{
		arr[idx] = rand()%1234;
	}
	topK(arr, top);
}
int main()
{
	Test();
	system("pause");
	return 0;
}

CVTE筆試題之topK問題

問題描述：本公司現在要給公司員工發波福利，在員工工作時間會提供大量的水果供員工補充營養。由於水果種類比較多，但是卻又不知道哪種水果比較受歡迎，然後公司就讓每個員工報告了自己最愛喫的k種水果，並且告知已經將所有員工喜歡喫的水果存儲於一個數組中。然後讓我們統計出所有水果出現的次數，並且求出大家最喜歡喫的前k種水果。

算法分析：往往在筆試過程中，要在很短的時間內寫出一個算法，調用標準庫裏面的東西是很方便的，比如CVTE這道題就是對STL中三種容器的考察：具體步驟如下：

① 首先，使用vector來存儲所有的水果。

② 其次，採用map將vector中存在的水果的數量統計出來，map支持下標訪問。

③ 最後，通過優先級隊列來建立小堆，迴歸到topK問題

#include <iostream>
#include <map>
#include <queue>
#include <vector>
using namespace std;

//自定義仿函數，比較map鍵值的第二個元素即水果出現的次數
struct Compare
{
	bool operator()(map<string, int>::iterator left, map<string, int>::iterator right)
	{
		return left->second < right->second;
	}
};

void GetFavoriteFruit(vector<string>& fruit, size_t K)
{
	//1.通過map統計水果出現的次數
	map<string, int> _map;
	for (int i = 0; i < fruit.size(); ++i)
	{
		_map[fruit[i]]++;
	}
	//2.通過優先級隊列來建立最小堆，對水果出現的次數排序
	priority_queue<map<string,int>::iterator, vector<map<string,int>::iterator>, Compare> _pq;
	map<string, int>::iterator it = _map.begin();
	while (it != _map.end())
	{
		_pq.push(it); //將包含水果和出現次數的信息存儲於優先級隊列
		++it;
	}

	//3.打印出現次數最多的K種水果
	while(K--)
	{
		cout << _pq.top()->first << " " << _pq.top()->second << ",";
		_pq.pop();
	}
}

int main()
{
	vector<string> V;
	V.push_back("蘋果");
	V.push_back("香蕉");
	V.push_back("西瓜");
	V.push_back("葡萄");
	V.push_back("哈密瓜");
	V.push_back("菠蘿");
	V.push_back("橘子");
	V.push_back("火龍果");
	V.push_back("橙子");
	V.push_back("香蕉");
	V.push_back("葡萄");
	V.push_back("橘子");
	GetFavoriteFruit(V, 3);
	system("pause");
	return 0;
}