還是接着上次分享的內容開始,如果還沒有看過前三期的小夥伴,可以根據自己的需要自行觀看。
《乾貨|50個大數據面試問題及答案第一篇:10個大數據面試入門級問題》
《乾貨|50個大數據面試問題及答案第二篇:10個大數據面試中級問題 》
《乾貨|50個大數據面試問題及答案第三篇:10個大數據Hadoop面試問題》
馬上開始我們今天的分享,祝您在面試的時候能有所幫助!
10個Hadoop開發人員新手面試的問題
Hadoop開發人員面試並不容易。如果您是一個新人,請學習Hadoop概念並做好準備。熟悉不同的文件系統,Hadoop版本,命令,系統安全性等。以下幾個問題將幫助您通過Hadoop開發人員面試。
31. Hadoop中有哪些不同的配置文件?
答: Hadoop中的不同配置文件是:
- core-site.xml -此配置文件包含Hadoop核心配置設置,例如I / O設置,對於MapReduce和HDFS非常常見。它使用主機名端口。
- mapred-site.xml -此配置文件通過設置mapreduce.framework.name指定MapReduce的框架名稱
- hdfs-site.xml -此配置文件包含HDFS守護程序配置設置。它還指定HDFS上的默認阻止權限和複製檢查。
- yarn-site.xml -此配置文件指定ResourceManager和NodeManager的配置設置。
32. Hadoop 2和Hadoop 3有什麼區別?
答:以下是Hadoop 2和Hadoop 3之間的區別如圖
33.如何在Hadoop中實現安全性?
答: Kerberos用於在Hadoop中實現安全性。在高級別使用Kerberos時,有3個步驟來訪問服務。每個步驟都涉及與服務器的消息交換。
- 身份驗證 -第一步是將客戶端身份驗證到身份驗證服務器,然後向客戶端提供帶時間戳的TGT(票證授予票證)。
- 授權 -在此步驟中,客戶端使用收到的TGT從TGS(票證授予服務器)請求服務票證。
- 服務請求 -這是在Hadoop中實現安全性的最後一步。然後,客戶端使用服務票證向服務器驗證自己。
34.什麼是商品硬件?
答:商品硬件是一種低成本系統,由可用性較低和質量較差的系統識別。商品硬件包括RAM,因爲它執行許多需要RAM執行的服務。一個不需要高端硬件配置或超級計算機來運行Hadoop,它可以在任何商用硬件上運行。
35. NFS如何與HDFS不同?
答:有許多分佈式文件系統以自己的方式工作。NFS(網絡文件系統)是最古老和最流行的分佈式文件存儲系統之一,而HDFS(Hadoop分佈式文件系統)是最近使用和流行的處理大數據的系統。 NFS和HDFS之間的主要區別如下 -
36. Hadoop MapReduce如何工作?
MapReduce操作分爲兩個階段:
- 映射階段 - 在此階段,輸入數據由映射任務分割。地圖任務並行運行。這些拆分數據用於分析目的。
- 減少階段 - 在此階段,類似的拆分數據將從整個集合中聚合並顯示結果。
37.什麼是MapReduce?用於運行MapReduce程序的語法是什麼?
MapReduce是Hadoop中的一種編程模型,用於處理計算機集羣上的大型數據集,通常稱爲HDFS。它是一種並行編程模型。
運行MapReduce程序的語法是 - hadoop_jar_file.jar / input_path / output_path 。
38. NameNode,任務跟蹤器和作業跟蹤器的端口號是什麼?
- NameNode - 端口50070
- 任務跟蹤器- 端口50060
- 工作追蹤- 港口50030
39. HDFS中文件或目錄級別的不同文件權限是什麼?
Hadoop分佈式文件系統(HDFS)使用特定的文件和目錄權限模型。
以下用戶級別用於HDFS :
- Owner
- Group
- Others
對於上面提到的每個用戶,以下權限適用 :
- 讀(r)
- 寫(w)
- 執行(x)。
上述權限對文件和目錄的工作方式不同。
對於文件:
- 在(r) 權限是用於讀取文件
- 該(w) 許可是寫一個文件。
對於目錄:
- 在(r)權限列出內容的特定目錄。
- 該(w) 權限創建或刪除一個目錄。
- 該(x) 許可是用於訪問子目錄。
40. Mapper的基本參數是什麼?
Mapper的基本參數是:
- LongWritable和Text
- 文本和IntWritable
歡迎諮詢慧都在線客服,我們將幫您轉接大數據專家團隊,併發送相關資料給您!
下期預告:乾貨|50個大數據面試問題及答案完結篇:經驗豐富的Hadoop開發人員面試問題