● 上億數量的鏈接，如何找出點擊量排名前十的鏈接？
參考回答：
分兩種情況：可一次讀入內存，不可一次讀入。思路：trie樹+堆，數據庫索引，劃分子集分別統計，hash，分佈式計算，近似統計，外排序。遍歷文件，對每個url求取hash(url)%1000，然後根據所取得的值將url分別存儲到1000個小文件（記爲a0,a1,...,a999）中。
● 請你說幾個海量數據存儲常見問題以及如何解答
參考回答：
例子1：給你A,B兩個文件，各存放50億條URL，每條URL佔用64字節，內存限制是4G，讓你找出A,B文件共同的URL。思路：可以估計每個文件安的大小爲5G×64=320G，遠遠大於內存限制的4G。所以不可能將其完全加載到內存中處理。考慮採取分而治之的方法。• 分而治之/hash映射：遍歷文件a，對每個url求取，然後根據所取得的值將url分別存儲到1000個小文件（記爲）中。這樣每個小文件的大約爲300M。遍歷文件b，採取和a相同的方式將url分別存儲到1000小文件中（記爲）。這樣處理後，所有可能相同的url都在對應的小文件（）中，不對應的小文件不可能有相同的url。然後我們只要求出1000對小文件中相同的url即可。• hash統計：求每對小文件中相同的url時，可以把其中一個小文件的url存儲到hash_set中。然後遍歷另一個小文件的每個url，看其是否在剛纔構建的hash_set中，如果是，那麼就是共同的url，存到文件裏面就可以了。例子2：有10個文件，每個文件1G， 每個文件的每一行都存放的是用戶的query，每個文件的query都可能重複。要你按照query的頻度排序思路：• hash映射：順序讀取10個文件，按照hash(query)%10的結果將query寫入到另外10個文件（記爲）中。這樣新生成的文件每個的大小大約也1G（假設hash函數是隨機的）。• hash統計：找一臺內存在2G左右的機器，依次對用hash_map(query, query_count)來統計每個query出現的次數。注：hash_map(query,query_count)是用來統計每個query的出現次數，不是存儲他們的值，出現一次，則count+1。• 堆/快速/歸併排序：利用快速/堆/歸併排序按照出現次數進行排序。將排序好的query和對應的query_cout輸出到文件中。這樣得到了10個排好序的文件（記爲）。對這10個文件進行歸併排序（內排序與外排序相結合）。例子3：有一個1G大小的一個文件，裏面每一行是一個詞，詞的大小不超過16個字節，內存限制大小是1M。返回頻數最高的100個詞思路：• 分而治之/hash映射：順序讀文件中，對於每個詞x，取hash(x)%5000，然後按照該值存到5000個小文件（記爲x0,x1,...x4999）中。這樣每個文件大概是200k左右。如果其中的有的文件超過了1M大小，還可以按照類似的方法繼續往下分，直到分解得到的小文件的大小都不超過1M。• hash統計：對每個小文件，採用trie樹/hash_map等統計每個文件中出現的詞以及相應的頻率。• 堆/歸併排序：取出出現頻率最大的100個詞（可以用含100個結點的最小堆），並把100個詞及相應的頻率存入文件，這樣又得到了5000個文件。最後就是把這5000個文件進行歸併（類似於歸併排序）的過程了。例子4：海量日誌數據，提取出某日訪問百度次數最多的那個IP。思路：• 分而治之/hash映射：針對數據太大，內存受限，只能是：把大文件化成(取模映射)小文件，即16字方針：大而化小，各個擊破，縮小規模，逐個解決• hash統計：當大文件轉化了小文件，那麼我們便可以採用常規的Hashmap(ip，value)來進行頻率統計。• 堆/快速排序：統計完了之後，便進行排序(可採取堆排序)，得到次數最多的IP。
● 請顧問有兩個文件，如何將這兩個文件按行依次交叉存入第三個文件中
參考回答：
linux中假設當前目錄下的文件都以.wav.trn爲後綴，每個文件裏的內容爲一行，將它們依次添加到文件Z的末尾腳本如下：
複製代碼
| 12345 | #!/usr/bin/bashfor filename in `find ./*.wav.trn|sort -udoecho `sed -n 1p $filename` >> Zdone |
● 請你回答一下：統計文本中出現次數前十的單詞，文件很大，不能一次性讀入內存？
參考回答：
Top K 算法詳解應用場景：搜索引擎會通過日誌文件把用戶每次檢索使用的所有檢索串都記錄下來，每個查詢串的長度爲1-255字節。
假設目前有一千萬個記錄（這些查詢串的重複度比較高，雖然總數是1千萬，但如果除去重複後，不超過3百萬個。一個查詢串的重複度越高，說明查詢它的用戶越多，也就是越熱門。），請你統計最熱門的10個查詢串，要求使用的內存不能超過1G。必備知識：什麼是哈希表？哈希表（Hash table，也叫散列表），是根據關鍵碼值(Key value)而直接進行訪問的數據結構。也就是說，它通過把關鍵碼值映射到表中一個位置來訪問記錄，以加快查找的速度。這個映射函數叫做散列函數，存放記錄的數組叫做散列表。哈希表的做法其實很簡單，就是把Key通過一個固定的算法函數既所謂的哈希函數轉換成一個整型數字，然後就將該數字對數組長度進行取餘，取餘結果就當作數組的下標，將value存儲在以該數字爲下標的數組空間裏。而當使用哈希表進行查詢的時候，就是再次使用哈希函數將key轉換爲對應的數組下標，並定位到該空間獲取value，如此一來，就可以充分利用到數組的定位性能進行數據定位。問題解析：要統計最熱門查詢，首先就是要統計每個Query出現的次數，然後根據統計結果，找出Top 10。所以我們可以基於這個思路分兩步來設計該算法。即，此問題的解決分爲以下倆個步驟：第一步：Query統計 (統計出每個Query出現的次數)Query統計有以下倆個方法，可供選擇：1、直接排序法(經常在日誌文件中統計時，使用cat file|format key|sort | uniq -c | sort -nr | head -n 10，就是這種方法)首先我們最先想到的的算法就是排序了，首先對這個日誌裏面的所有Query都進行排序，然後再遍歷排好序的Query，統計每個Query出現的次數了。但是題目中有明確要求，那就是內存不能超過1G，一千萬條記錄，每條記錄是255Byte，很顯然要佔據2.375G內存，這個條件就不滿足要求了。讓我們回憶一下數據結構課程上的內容，當數據量比較大而且內存無法裝下的時候，我們可以採用外排序的方法來進行排序，這裏我們可以採用歸併排序，因爲歸併排序有一個比較好的時間複雜度O(NlgN)。排完序之後我們再對已經有序的Query文件進行遍歷，統計每個Query出現的次數，再次寫入文件中。綜合分析一下，排序的時間複雜度是O(NlgN)，而遍歷的時間複雜度是O(N)，因此該算法的總體時間複雜度就是O(N+NlgN)=O（NlgN）。2、Hash Table法 (這種方法統計字符串出現的次數非常好)在第1個方法中，我們採用了排序的辦法來統計每個Query出現的次數，時間複雜度是NlgN，那麼能不能有更好的方法來存儲，而時間複雜度更低呢？
題目中說明了，雖然有一千萬個Query，但是由於重複度比較高，因此事實上只有300萬的Query，每個Query 255Byte，因此我們可以考慮把他們都放進內存中去，而現在只是需要一個合適的數據結構，在這裏，Hash Table絕對是我們優先的選擇，因爲Hash Table的查詢速度非常的快，幾乎是O(1)的時間複雜度。那麼，我們的算法就有了：維護一個Key爲Query字串，Value爲該Query出現次數的HashTable，每次讀取一個Query，如果該字串不在Table中，那麼加入該字串，並且將Value值設爲1；如果該字串在Table中，那麼將該字串的計數加一即可。最終我們在O(N)的時間複雜度內完成了對該海量數據的處理。本方法相比算法1：在時間複雜度上提高了一個數量級，爲O（N），但不僅僅是時間複雜度上的優化，該方法只需要IO數據文件一次，而算法1的IO次數較多的，因此該算法2比算法1在工程上有更好的可操作性。第二步：找出Top 10 (找出出現次數最多的10個)算法一：普通排序 （我們只用找出top10，所以全部排序有冗餘）我想對於排序算法大家都已經不陌生了，這裏不在贅述，我們要注意的是排序算法的時間複雜度是NlgN，在本題目中，三百萬條記錄，用1G內存是可以存下的。算法二：部分排序題目要求是求出Top 10，因此我們沒有必要對所有的Query都進行排序，我們只需要維護一個10個大小的數組，初始化放入10個Query，按照每個Query的統計次數由大到小排序，然後遍歷這300萬條記錄，每讀一條記錄就和數組最後一個Query對比，如果小於這個Query，那麼繼續遍歷，否則，將數組中最後一條數據淘汰(還是要放在合適的位置，保持有序)，加入當前的Query。最後當所有的數據都遍歷完畢之後，那麼這個數組中的10個Query便是我們要找的Top10了。不難分析出，這樣，算法的最壞時間複雜度是N*K， 其中K是指top多少。算法三：堆在算法二中，我們已經將時間複雜度由NlogN優化到N*K，不得不說這是一個比較大的改進了，可是有沒有更好的辦法呢？分析一下，在算法二中，每次比較完成之後，需要的操作複雜度都是K，因爲要把元素插入到一個線性表之中，而且採用的是順序比較。這裏我們注意一下，該數組是有序的，一次我們每次查找的時候可以採用二分的方法查找，這樣操作的複雜度就降到了logK，可是，隨之而來的問題就是數據移動，因爲移動數據次數增多了。不過，這個算法還是比算法二有了改進。基於以上的分析，我們想想，有沒有一種既能快速查找，又能快速移動元素的數據結構呢？回答是肯定的，那就是堆。藉助堆結構，我們可以在log量級的時間內查找和調整/移動。因此到這裏，我們的算法可以改進爲這樣，維護一個K(該題目中是10)大小的小根堆，然後遍歷300萬的Query，分別和根元素進行對比。思想與上述算法二一致，只是在算法三，我們採用了最小堆這種數據結構代替數組，把查找目標元素的時間複雜度有O（K）降到了O（logK）。那麼這樣，採用堆數據結構，算法三，最終的時間複雜度就降到了N*logK，和算法二相比，又有了比較大的改進。總結：至此，算法就完全結束了，經過上述第一步、先用Hash表統計每個Query出現的次數，O（N）；然後第二步、採用堆數據結構找出Top 10，N*O（logK）。所以，我們最終的時間複雜度是：O（N） + N‘*O（logK）。（N爲1000萬，N’爲300萬）。 參考來自CSDN用戶立喆
● 請你回答一下QQ怎麼實現在線大文件的傳輸
參考回答：
網上搜索了一下，比較多的一種說法是通過“md5('文件內容')”生成“唯一標識符”的方法。
● 請你說一下你用過哪些電商app,並比較他們的好壞
參考回答：
筆者用過淘寶，京東、唯品會、網易考拉、亞馬遜首先淘寶，用的最多，的確買日用品很方便，東西齊全，但是加載首頁很慢，不夠流暢，此外依舊是假貨橫行，應當加大打假力度，京東，只買過U盤，但是退貨後錢款沒到賬，找客服兩次未解決，不提了，後面就卸了，沒什麼印象了唯品會：排版不行，購物車只能保持十五分鐘這個筆者持反對意見網易考拉:貨少但相對淘寶來說可信度比較高，當然價格也比較高，經常缺貨亞馬遜：除了運費貴英文看的費力沒毛病
