1、海量日誌數據，提取出某日訪問百度次數最多的那個IP。
首先是這一天，並且是訪問百度的日誌中的IP取出來，逐個寫入到一個大文件中。注意到IP是32位的，最多有個2^32個IP。同樣可以採用映射的方法，比如模1000，把整個大文件映射爲1000個小文件，再找出每個小文中出現頻率最大的IP（可以採用hash_map進行頻率統計，然後再找出頻率最大的幾個）及相應的頻率。然後再在這1000個最大的IP中，找出那個頻率最大的IP，即爲所求。
或者如下闡述：
算法思想：分而治之+Hash
1.IP地址最多有2^32=4G種取值情況（每個IP用1Byte存儲），所以不能完全加載到內存中處理；
2.可以考慮採用“分而治之”的思想，按照IP地址的Hash(IP)%1024值，把海量IP日誌分別存儲到1024個小文件中。這樣，每個小文件最多包含4MB個IP地址；
3.遍歷1024個文件，對於每一個小文件，可以構建一個HashMap(IP，IP_Count)，同時記錄當前出現次數最多的那個IP地址；
4.可以得到1024個小文件中的出現次數最多的IP，再依據常規的排序算法得到總體上出現次數最多的IP；
2、搜索引擎會通過日誌文件把用戶每次檢索使用的所有檢索串都記錄下來，每個查詢串的長度爲1-255字節。
假設目前有一千萬個記錄（這些查詢串的重複度比較高，雖然總數是1千萬，但如果除去重複後，不超過3百萬個。一個查詢串的重複度越高，說明查詢它的用戶越多，也就是越熱門。），請你統計最熱門的10個查詢串，要求使用的內存不能超過1G。
思路明顯是，先統計每個Query出現的次數，然後根據統計結果，找出Top 10，這樣我們就分兩步進行。
第一步：Query統計
因爲雖然有一千萬個Query，但是由於重複度比較高，因此事實上只有300萬的Query，每個Query佔用最大爲255Byte，因此我們可以考慮把他們都放進內存中去。
經過計算，300萬個Query大小最大爲729MB。我們選擇用一個HashMap（Query，Query_count）來做存儲。對1000萬條記錄，每次讀取一個Query，如果該字串不在HashMap中，那麼加入該字串，並且將Value值設爲1；如果該字串在HashMap中，那麼將該字串的計數加一即可。最終我們在O(N)的時間複雜度內完成了對該海量數據的處理。
第二步：找出TOP10
用堆實現部分排序。維護一個K(該題目中是10)大小的小根堆，然後遍歷300萬的Query，分別和根元素進行對比。
具體過程是，堆頂存放的是整個堆中最小的數，現在遍歷N個數，把最先遍歷到的k個數存放到最小堆中，並假設它們就是我們要找的最大的k個數，X1>X2...Xmin(堆頂)，而後遍歷後續的N-K個數，一一與堆頂元素進行比較，如果遍歷到的Xi大於堆頂元素Xmin，則把Xi放入堆中，而後更新整個堆，更新的時間複雜度爲logK，如果Xi<Xmin，則不更新堆，整個過程的複雜度爲O(K)+O(（N-K）*logK)=O（N*logK）。
3、有一個1G大小的一個文件，裏面每一行是一個詞，詞的大小不超過16字節，內存限制大小是1M。返回頻數最高的100個詞。
第一步：順序讀文件中，對於每個詞x，取hash(x)%5000，然後按照該值存到5000個小文件（記爲x0,x1,...x4999）中。這樣每個文件大概是200k左右。
第二步：上面的操作中，我們得到的小文件中，有一些文件可能會超過1MB，對於這些大小超過1MB的文件，我們可以再進一步細分，使他們的大小在1MB以內，這樣我們得到的文件總數就X（X>=5000）。
第三步：對每個小文件，統計每個小文件中出現頻率最高的100個詞，把他們的詞和詞頻存入新的文件，這樣我們又得到X個小文件，後面的步驟就是把這些小文件歸併。
4、有10個文件，每個文件1G，每個文件的每一行存放的都是用戶的query，每個文件的query都可能重複。要求你按照query的頻度排序。
還是典型的TOP K算法，解決方案如下：
方案一：
因爲文件的Query可能重複，我們先hash（query）%10把query存入新的10個文件中，這樣每個文件的大小也大約在1G。
找一臺內存2G的機器，接下來用HashMap(query,query_count)來統計每個query出現的次數。利用快速/堆/歸併排序按照出現次數進行排序。將排序好的query和對應的query_cout輸出到文件中。這樣得到了10個排好序的文件。
對這10個文件進行歸併排序（內排序與外排序相結合）。
方案二：
一般query的總量是有限的，只是重複的次數比較多而已，可能對於所有的query，一次性就可以加入到內存了。我們逐個讀取文件，接下來就可以採用trie樹/hash_map等直接來統計每個query出現的次數，然後按出現次數做快速/堆/歸併排序就可以了。
方案三：
類似方案一，先hash得到10個文件，然後把文件分攤到不同的處理機上（基於分佈式的思想）進行HashMap統計次數，然後每臺機器對各自的文件進行排序，接下去就是歸併文件。
5、 給定a、b兩個文件，各存放50億個url，每個url各佔64字節，內存限制是4G，讓你找出a、b文件共同的url？
方案一：
遍歷文件a，對每個url求取hash(url)%1000，然後根據所取得的值將url分別存儲到1000個小文件（記爲a0,a1,...,a999）中。這樣每個小文件的大約爲300M。
遍歷文件b，採取和a相同的方式將url分別存儲到1000小文件（記爲b0,b1,...,b999）。這樣處理後，所有可能相同的url都在對應的小文件（a0vsb0,a1vsb1,...,a999vsb999）中，不對應的小文件不可能有相同的url。然後我們只要求出1000對小文件中相同的url即可。
注意題目中要求的是a、b文件相同的url，所以我們求的是上面得到的文件對中相同的url。在這一步中，我們有1000個文件對，對每一個文件對，我們把其中一個文件的url存儲到HashSet中，然後遍歷文件對的另一個文件的url，如果HashSet裏面contains該url，那就是要求的相同的url。
6、在2.5億個整數中找出不重複的整數，注，內存不足以容納這2.5億個整數。
原題裏面沒有說明2.5億個整數原來是如何存儲的，先暫且認爲2.5億個整數存在一個大文件中。
方案：
第一步：遍歷讀取這個文件的每一個整數，然後Hash到多個小文件中，這樣小文件包含重複的數字和不重複的數字。
第二步：逐個處理小文件，用HasMap(num，num_count)來統計當前小文件的數字情況，對num_count爲1的整數，存儲到一個新的文件中，這裏的意思明顯是所有num_count爲1的整數最終都存儲到同一個文件中。
7、騰訊面試題：給40億個不重複的unsigned int的整數（即無符號整數），沒排過序的，然後再給一個數，如何快速判斷這個數是否在那40億個數當中？
方案一：對40億個整數快排，然後用二分查找，但下面有效率更高的方案。
方案二：申請512M的內存，一個bit位代表一個unsigned int值。讀入40億個數，設置相應的bit位，讀入要查詢的數，查看相應bit位是否爲1，爲1表示存在，爲0表示不存在。
方案三：
2^32爲40億多，題目給了40億的數，這樣要查找的數可能在也可能不在給個40億個數中。我們40億個數中的每一個用32位的二進制來表示。
假設這40億個數開始放在一個文件中。我們將這40億個數分成兩類:①最高位爲0。②最高位爲1。把這兩類數存入到兩個文件中。其中一個文件中數的個數<=20億，而另一個>=20億（這相當於折半了）；與要查找的數的最高位比較並接着進入相應的文件再查找。
根據上一個文件的數字的次高位的值，把這些數字在細分到兩類文件：①最高位爲0。②最高位爲1。與要查找的數的次最高位比較並接着進入相應的文件再查找。以上述方法從數字的高位到低位一直進行下去。依據原文說法，時間複雜度爲O(logn)。
方案四：
這是位圖法。它的做法是按照集合中最大元素max創建一個長度爲max+1的新數組，然後再次掃描原數組，遇到幾就給新數組的第幾位置上1，如遇到5就給新數組的第六個元素置1，這樣下次再遇到5想置位時發現新數組的第六個元素已經是1了，這說明這次的數據肯定和以前的數據存在着重複。這種給新數組初始化時置零其後置一的做法類似於位圖的處理方法故稱位圖法。它的運算次數最壞的情況爲2N。如果已知數組的最大值即能事先給新數組定長的話效率還能提高一倍。
8、一個文本文件，大約有一萬行，每行一個詞，要求統計出其中最頻繁出現的前10個詞，請給出思想，給出時間複雜度分析。
第一步，用trie樹統計每個詞出現的次數，時間複雜度是O(n*le)（le表示單詞的平準長度）。
第二步，找出出現最頻繁的前10個詞，可以用堆來實現，方法在第二題中已經講到了，時間複雜度是O(n*lg10)。所以總的時間複雜度，是O(n*le)與O(n*lg10)中較大的哪一個。
9、100w個數中找出最大的100個數。
方案一：
和第二題的思路一樣。建一個容量100的小根堆，遍歷100w個數，每次都和堆頂比較，如果比堆頂大則置換，然後堆重排序。
方案二：
採用局部淘汰法。選取前100個元素，並排序，記爲序列L。然後一次掃描剩餘的元素x，與排好序的100個元素中最小的元素比，如果比這個最小的要大，那麼把這個最小的元素刪除，並把x利用插入排序的思想，插入到序列L中。依次循環，直到掃描了所有的元素。複雜度爲O(100w*100)。
本文轉改自：