1.Hadoop集羣可以運行的3個模式? 單機(本地)模式 僞分佈式模式 全分佈式模式 2. 單機(本地)模式中的注意點? 在單機模式(standalone)中不會存在守護進程,所有東西都運行在一個JVM上。這裏同樣沒有DFS,使用的是本地文件系統。單機模式適用於開發過程中運行MapReduce程序,這也是最少使用的一個模式。 3. 僞分佈模式中的注意點? 僞分佈式(Pseudo)適用於開發和測試環境,在這個模式中,所有守護進程都在同一臺機器上運行。 4. VM是否可以稱爲Pseudo? 不是,兩個事物,同時Pseudo只針對Hadoop。 5. 全分佈模式又有什麼注意點? 全分佈模式通常被用於生產環境,這裏我們使用N臺主機組成一個Hadoop集羣,Hadoop守護進程運行在每臺主機之上。這裏會存在Namenode運行的主機,Datanode運行的主機,以及task tracker運行的主機。在分佈式環境下,主節點和從節點會分開。 6. Hadoop是否遵循UNIX模式? 是的,在UNIX用例下,Hadoop還擁有“conf”目錄。 7. Hadoop安裝在什麼目錄下? Cloudera和Apache使用相同的目錄結構,Hadoop被安裝在cd/usr/lib/hadoop-0.20/。 8. Namenode、Job tracker和task tracker的端口號是? Namenode,70;Job tracker,30;Task tracker,60。 9. Hadoop的核心配置是什麼? Hadoop的核心配置通過兩個xml文件來完成:1,hadoop-default.xml;2,hadoop-site.xml。這些文件都使用xml格式,因此每個xml中都有一些屬性,包括名稱和值,但是當下這些文件都已不復存在。 10. 那當下又該如何配置? Hadoop現在擁有3個配置文件:1,core-site.xml;2,hdfs-site.xml;3,mapred-site.xml。這些文件都保存在conf/子目錄下。 11. RAM的溢出因子是? 溢出因子(Spill factor)是臨時文件中儲存文件的大小,也就是Hadoop-temp目錄。 12. fs.mapr.working.dir只是單一的目錄? fs.mapr.working.dir只是一個目錄。 13. hdfs-site.xml的3個主要屬性? dfs.name.dir決定的是元數據存儲的路徑以及DFS的存儲方式(磁盤或是遠端) dfs.data.dir決定的是數據存儲的路徑 fs.checkpoint.dir用於第二Namenode 14. 如何退出輸入模式? 退出輸入的方式有:1,按ESC;2,鍵入:q(如果你沒有輸入任何當下)或者鍵入:wq(如果你已經輸入當下),並且按下Enter。 15. 當你輸入hadoopfsck /造成“connection refused java exception’”時,系統究竟發生了什麼? 這意味着Namenode沒有運行在你的VM之上。 16. 我們使用Ubuntu及Cloudera,那麼我們該去哪裏下載Hadoop,或者是默認就與Ubuntu一起安裝? 這個屬於Hadoop的默認配置,你必須從Cloudera或者Edureka的dropbox下載,然後在你的系統上運行。當然,你也可以自己配置,但是你需要一個Linux box,Ubuntu或者是Red Hat。在Cloudera網站或者是Edureka的Dropbox中有安裝步驟。 17. “jps”命令的用處? 這個命令可以檢查Namenode、Datanode、Task Tracker、 Job Tracker是否正常工作。 18. 如何重啓Namenode? 點擊stop-all.sh,再點擊start-all.sh。 鍵入sudo hdfs(Enter),su-hdfs (Enter),/etc/init.d/ha(Enter),及/etc/init.d/hadoop-0.20-namenode start(Enter)。 19. Fsck的全名? 全名是:File System Check。 20. 如何檢查Namenode是否正常運行? 如果要檢查Namenode是否正常工作,使用命令/etc/init.d/hadoop-0.20-namenode status或者就是簡單的jps。 21. mapred.job.tracker命令的作用? 可以讓你知道哪個節點是Job Tracker。 22. /etc /init.d命令的作用是? /etc /init.d說明了守護進程(服務)的位置或狀態,其實是LINUX特性,和Hadoop關係不大。 23. 如何在瀏覽器中查找Namenode? 如果你確實需要在瀏覽器中查找Namenode,你不再需要localhost:8021,Namenode的端口號是50070。 24. 如何從SU轉到Cloudera? 從SU轉到Cloudera只需要鍵入exit。 25. 啓動和關閉命令會用到哪些文件? Slaves及Masters。 26. Slaves由什麼組成? Slaves由主機的列表組成,每臺1行,用於說明數據節點。 27. Masters由什麼組成? Masters同樣是主機的列表組成,每臺一行,用於說明第二Namenode服務器。 28. hadoop-env.sh是用於做什麼的? hadoop-env.sh提供了Hadoop中. JAVA_HOME的運行環境。 29. Master文件是否提供了多個入口? 是的你可以擁有多個Master文件接口。 30. Hadoop-env.sh文件當下的位置? hadoop-env.sh現在位於conf。 31. 在Hadoop_PID_DIR中,PID代表了什麼? PID代表了“Process ID”。 32. /var/hadoop/pids用於做什麼? /var/hadoop/pids用來存儲PID。 33. hadoop-metrics.properties文件的作用是? hadoop-metrics.properties被用做“Reporting”,控制Hadoop報告,初始狀態是“not to report”。 34. Hadoop需求什麼樣的網絡? Hadoop核心使用Shell(SSH)來驅動從節點上的服務器進程,並在主節點和從節點之間使用password-less SSH連接。 35. 全分佈式環境下爲什麼需求password-less SSH? 這主要因爲集羣中通信過於頻繁,Job Tracker需要儘可能快的給Task Tracker發佈任務。 36. 這會導致安全問題嗎? 完全不用擔心。Hadoop集羣是完全隔離的,通常情況下無法從互聯網進行操作。與衆不同的配置,因此我們完全不需要在意這種級別的安全漏洞,比如說通過互聯網侵入等等。Hadoop爲機器之間的連接提供了一個相對安全的方式。 37. SSH工作的端口號是? SSH工作的端口號是NO.22,當然可以通過它來配置,22是默認的端口號。 38. SSH中的注意點還包括? SSH只是個安全的shell通信,可以把它當做NO.22上的一種協議,只需要配置一個密碼就可以安全的訪問。 39. 爲什麼SSH本地主機需要密碼? 在SSH中使用密碼主要是增加安全性,在某些情況下也根本不會設置密碼通信。 40. 如果在SSH中添加key,是否還需要設置密碼? 是的,即使在SSH中添加了key,還是需要設置密碼。 41. 假如Namenode中沒有數據會怎麼樣? 沒有數據的Namenode就不能稱之爲Namenode,通常情況下,Namenode肯定會有數據。 42. 當Job Tracker宕掉時,Namenode會發生什麼? 當Job Tracker失敗時,集羣仍然可以正常工作,只要Namenode沒問題。 43. 是客戶端還是Namenode決定輸入的分片? 這並不是客戶端決定的,在配置文件中以及決定分片細則。 44. 是否可以自行搭建Hadoop集羣? 是的,只要對Hadoop環境足夠熟悉,你完全可以這麼做。 45. 是否可以在Windows上運行Hadoop? 你最好不要這麼做,Red Hat Linux或者是Ubuntu纔是Hadoop的最佳操作系統。在Hadoop安裝中,Windows通常不會被使用,因爲會出現各種各樣的問題。因此,Windows絕對不是Hadoop的推薦系統。 |
第一部分、十道海量數據處理面試題
1、海量日誌數據,提取出某日訪問百度次數最多的那個IP。 首先是這一天,並且是訪問百度的日誌中的IP取出來,逐個寫入到一個大文件中。注意到IP是32位的,最多有個2^32個IP。同樣可以採用映射的方法, 比如模1000,把整個大文件映射爲1000個小文件,再找出每個小文中出現頻率最大的IP(可以採用hash_map進行頻率統計,然後再找出頻率最大 的幾個)及相應的頻率。然後再在這1000個最大的IP中,找出那個頻率最大的IP,即爲所求。 或者如下闡述(雪域之鷹):算法思想:分而治之+Hash 1.IP地址最多有2^32=4G種取值情況,所以不能完全加載到內存中處理; 2.可以考慮採用“分而治之”的思想,按照IP地址的Hash(IP)%1024值,把海量IP日誌分別存儲到1024個小文件中。這樣,每個小文件最多包含4MB個IP地址; 3.對於每一個小文件,可以構建一個IP爲key,出現次數爲value的Hash map,同時記錄當前出現次數最多的那個IP地址; 4.可以得到1024個小文件中的出現次數最多的IP,再依據常規的排序算法得到總體上出現次數最多的IP;
2、搜索引擎會通過日誌文件把用戶每次檢索使用的所有檢索串都記錄下來,每個查詢串的長度爲1-255字節。 典型的Top K算法,還是在這篇文章裏頭有所闡述,詳情請參見:十一、從頭到尾徹底解析Hash表算法。
文中,給出的最終算法是:
或者:採用trie樹,關鍵字域存該查詢串出現的次數,沒有出現爲0。最後用10個元素的最小推來對出現頻率進行排序。 方案:順序讀文件中,對於每個詞x,取hash(x)%5000,然後按照該值存到5000個小文件(記爲x0,x1,…x4999)中。這樣每個文件大概是200k左右。
如果其中的有的文件超過了1M大小,還可以按照類似的方法繼續往下分,直到分解得到的小文件的大小都不超過1M。
還是典型的TOP K算法,解決方案如下: 找一臺內存在2G左右的機器,依次對用hash_map(query, query_count)來統計每個query出現的次數。利用快速/堆/歸併排序按照出現次數進行排序。將排序好的query和對應的 query_cout輸出到文件中。這樣得到了10個排好序的文件(記爲)。 對這10個文件進行歸併排序(內排序與外排序相結合)。
方案2:
方案3: 方案1:可以估計每個文件安的大小爲5G×64=320G,遠遠大於內存限制的4G。所以不可能將其完全加載到內存中處理。考慮採取分而治之的方法。 遍歷文件a,對每個url求取hash(url)%1000,然後根據所取得的值將url分別存儲到1000個小文件(記爲a0,a1,…,a999)中。這樣每個小文件的大約爲300M。 遍歷文件b,採取和a相同的方式將url分別存儲到1000小文件(記爲b0,b1,…,b999)。這樣處理後,所有可能相同的url都在對應的小 文件(a0vsb0,a1vsb1,…,a999vsb999)中,不對應的小文件不可能有相同的url。然後我們只要求出1000對小文件中相同的 url即可。 求每對小文件中相同的url時,可以把其中一個小文件的url存儲到hash_set中。然後遍歷另一個小文件的每個url,看其是否在剛纔構建的hash_set中,如果是,那麼就是共同的url,存到文件裏面就可以了。 方案2:如果允許有一定的錯誤率,可以使用Bloom filter,4G內存大概可以表示340億bit。將其中一個文件中的url使用Bloom filter映射爲這340億bit,然後挨個讀取另外一個文件的url,檢查是否與Bloom filter,如果是,那麼該url應該是共同的url(注意會有一定的錯誤率)。
Bloom filter日後會在本BLOG內詳細闡述。 方案1:採用2-Bitmap(每個數分配2bit,00表示不存在,01表示出現一次,10表示多次,11無意義)進行,共需內存2^32 * 2 bit=1 GB內存,還可以接受。然後掃描這2.5億個整數,查看Bitmap中相對應位,如果是00變01,01變10,10保持不變。所描完事後,查看 bitmap,把對應位是01的整數輸出即可。
方案2:也可採用與第1題類似的方法,進行劃分小文件的方法。然後在小文件中找出不重複的整數,並排序。然後再進行歸併,注意去除重複的元素。
與上第6題類似,我的第一反應時快速排序+二分查找。以下是其它更好的方法:
dizengrong:
然後將這40億個數分成兩類:
再然後把這個文件爲又分成兩類:
並將這兩類分別寫入到兩個文件中,其中一個文件中數的個數<=10億,而另一個>=10億(這相當於折半了);
附:這裏,再簡單介紹下,位圖方法: 位圖法比較適合於這種情況,它的做法是按照集合中最大元素max創建一個長度爲max+1的新數組,然後再次掃描原數組,遇到幾就給新數組的第幾位置上 1,如遇到5就給新數組的第六個元素置1,這樣下次再遇到5想置位時發現新數組的第六個元素已經是1了,這說明這次的數據肯定和以前的數據存在着重複。這 種給新數組初始化時置零其後置一的做法類似於位圖的處理方法故稱位圖法。它的運算次數最壞的情況爲2N。如果已知數組的最大值即能事先給新數組定長的話效 率還能提高一倍。
歡迎,有更好的思路,或方法,共同交流。
方案1:上千萬或上億的數據,現在的機器的內存應該能存下。所以考慮採用hash_map/搜索二叉樹/紅黑樹等來進行統計次數。然後就是取出前N個出現次數最多的數據了,可以用第2題提到的堆機制完成。
方案1:這題是考慮時間效率。用trie樹統計每個詞出現的次數,時間複雜度是O(n*le)(le表示單詞的平準長度)。然後是找出出現最頻繁的前10 個詞,可以用堆來實現,前面的題中已經講到了,時間複雜度是O(n*lg10)。所以總的時間複雜度,是O(n*le)與O(n*lg10)中較大的哪一 個。 方案1:在前面的題中,我們已經提到了,用一個含100個元素的最小堆完成。複雜度爲O(100w*lg100)。 方案2:採用快速排序的思想,每次分割之後只考慮比軸大的一部分,知道比軸大的一部分在比100多的時候,採用傳統排序算法排序,取前100個。複雜度爲O(100w*100)。 方案3:採用局部淘汰法。選取前100個元素,並排序,記爲序列L。然後一次掃描剩餘的元素x,與排好序的100個元素中最小的元素比,如果比這個最小的 要大,那麼把這個最小的元素刪除,並把x利用插入排序的思想,插入到序列L中。依次循環,知道掃描了所有的元素。複雜度爲O(100w*100)。 致謝:http://www.cnblogs.com/youwang/。 第二部分、十個海量數據處理方法大總結 ok,看了上面這麼多的面試題,是否有點頭暈。是的,需要一個總結。接下來,本文將簡單總結下一些處理海量數據問題的常見方法,而日後,本BLOG內會具體闡述這些方法。 下面的方法全部來自http://hi.baidu.com/yanxionglu/blog/博客,對海量數據的處理方法進行了一個一般性的總結,當然這些方法可能並不能完全覆蓋所有的問題,但是這樣的一些方法也基本可以處理絕大多數遇到的問題。下面的一些問題基本直接來源於公司的面試筆試題目,方法不一定最優,如果你有更好的處理方法,歡迎討論。 一、Bloom filter 適用範圍:可以用來實現數據字典,進行數據的判重,或者集合求交集
基本原理及要點: 還有一個比較重要的問題,如何根據輸入元素個數n,確定位數組m的大小及hash函數 個數。當hash函數個數k=(ln2)*(m/n)時錯誤率最小。在錯誤率不大於E的情況下,m至少要等於n*lg(1/E)才能表示任意n個元素的集 合。但m還應該更大些,因爲還要保證bit數組裏至少一半爲0,則m應該>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2爲底的對數)。 舉個例子我們假設錯誤率爲0.01,則此時m應大概是n的13倍。這樣k大概是8個。 注意這裏m與n的單位不同,m是bit爲單位,而n則是以元素個數爲單位(準確的說是不同元素的個數)。通常單個元素的長度都是有很多bit的。所以使用bloom filter內存上通常都是節省的。
擴展: 問題實例:給你A,B兩個文件,各存放50億條URL,每條URL佔用64字節,內存限制是4G,讓你找出A,B文件共同的URL。如果是三個乃至n個文件呢?
根據這個問題我們來計算下內存的佔用,4G=2^32大概是40億*8大概是340 億,n=50億,如果按出錯率0.01算需要的大概是650億個bit。現在可用的是340億,相差並不多,這樣可能會使出錯率上升些。另外如果這些 urlip是一一對應的,就可以轉換成ip,則大大簡單了。 適用範圍:快速查找,刪除的基本數據結構,通常需要總數據量可以放入內存
基本原理及要點:
擴展:
問題實例: 適用範圍:可進行數據的快速查找,判重,刪除,一般來說數據範圍是int的10倍以下 基本原理及要點:使用bit數組來表示某些元素是否存在,比如8位電話號碼 擴展:bloom filter可以看做是對bit-map的擴展
問題實例:
將bit-map擴展一下,用2bit表示一個數即可,0表示未出現,1表示出現一次,2表示出現2次及以上。或者我們不用2bit來進行表示,我們用兩個bit-map即可模擬實現這個2bit-map。 適用範圍:海量數據前n大,並且n比較小,堆可以放入內存 基本原理及要點:最大堆求前n小,最小堆求前n大。方法,比如求前n小,我們比較當前 元素與最大堆裏的最大元素,如果它小於最大元素,則應該替換那個最大元素。這樣最後得到的n個元素就是最小的n個。適合大數據量,求前n小,n的大小比較 小的情況,這樣可以掃描一遍即可得到所有的前n元素,效率很高。 擴展:雙堆,一個最大堆與一個最小堆結合,可以用來維護中位數。
問題實例: 五、雙層桶劃分—-其實本質上就是【分而治之】的思想,重在“分”的技巧上!
適用範圍:第k大,中位數,不重複或重複的數字
擴展:
2).5億個int找它們的中位數。
實際上,如果不是int是int64,我們可以經過3次這樣的劃分即可降低到可以接受 的程度。即可以先將int64分成2^24個區域,然後確定區域的第幾大數,在將該區域分成2^20個子區域,然後確定是子區域的第幾大數,然後子區域裏 的數的個數只有2^20,就可以直接利用direct addr table進行統計了。 適用範圍:大數據量的增刪改查
基本原理及要點:利用數據的設計實現方法,對海量數據的增刪改查進行處理。 適用範圍:搜索引擎,關鍵字查詢 基本原理及要點:爲何叫倒排索引?一種索引方法,被用來存儲在全文搜索下某個單詞在一個文檔或者一組文檔中的存儲位置的映射。
以英文爲例,下面是要被索引的文本: 我們就能得到下面的反向文件索引:
“a”: {2} 檢索的條件”what”,”is”和”it”將對應集合的交集。 正向索引開發出來用來存儲每個文檔的單詞的列表。正向索引的查詢往往滿足每個文檔有序 頻繁的全文查詢和每個單詞在校驗文檔中的驗證這樣的查詢。在正向索引中,文檔佔據了中心的位置,每個文檔指向了一個它所包含的索引項的序列。也就是說文檔 指向了它包含的那些單詞,而反向索引則是單詞指向了包含它的文檔,很容易看到這個反向的關係。
擴展: 適用範圍:大數據的排序,去重 基本原理及要點:外排序的歸併方法,置換選擇敗者樹原理,最優歸併樹 擴展:
問題實例:
這個數據具有很明顯的特點,詞的大小爲16個字節,但是內存只有1m做hash有些不夠,所以可以用來排序。內存可以當輸入緩衝區使用。 適用範圍:數據量大,重複多,但是數據種類小可以放入內存 基本原理及要點:實現方式,節點孩子的表示方式 擴展:壓縮實現。
問題實例: 適用範圍:數據量大,但是數據種類小可以放入內存 基本原理及要點:將數據交給不同的機器去處理,數據劃分,結果歸約。
擴展: 可用思路:trie樹+堆,數據庫索引,劃分子集分別統計,hash,分佈式計算,近似統計,外排序 所謂的是否能一次讀入內存,實際上應該指去除重複後的數據量。如果去重後數據可以放入 內存,我們可以爲數據建立字典,比如通過 map,hashmap,trie,然後直接進行統計即可。當然在更新每條數據的出現次數的時候,我們可以利用一個堆來維護出現次數最多的前N個數據,當 然這樣導致維護次數增加,不如完全統計後在求前N大效率高。 如果數據無法放入內存。一方面我們可以考慮上面的字典方法能否被改進以適應這種情形,可以做的改變就是將字典存放到硬盤上,而不是內存,這可以參考數據庫的存儲方法。 當然還有更好的方法,就是可以採用分佈式計算,基本上就是map-reduce過程, 首先可以根據數據值或者把數據hash(md5)後的值,將數據按照範圍劃分到不同的機子,最好可以讓數據劃分後可以一次讀入內存,這樣不同的機子負責處 理各種的數值範圍,實際上就是map。得到結果後,各個機子只需拿出各自的出現次數最多的前N個數據,然後彙總,選出所有的數據中出現次數最多的前N個數 據, |