乾貨|50個大數據面試問題及答案第四篇:10個Hadoop開發人員新手面試問題

還是接着上次分享的內容開始,如果還沒有看過前三期的小夥伴,可以根據自己的需要自行觀看。

《乾貨|50個大數據面試問題及答案第一篇:10個大數據面試入門級問題》

《乾貨|50個大數據面試問題及答案第二篇:10個大數據面試中級問題 》

《乾貨|50個大數據面試問題及答案第三篇:10個大數據Hadoop面試問題》

馬上開始我們今天的分享,祝您在面試的時候能有所幫助!

10個Hadoop開發人員新手面試的問題

Hadoop開發人員面試並不容易。如果您是一個新人,請學習Hadoop概念並做好準備。熟悉不同的文件系統,Hadoop版本,命令,系統安全性等。以下幾個問題將幫助您通過Hadoop開發人員面試。

31. Hadoop中有哪些不同的配置文件?

答: Hadoop中的不同配置文件是:

  • core-site.xml -此配置文件包含Hadoop核心配置設置,例如I / O設置,對於MapReduce和HDFS非常常見。它使用主機名端口。
  • mapred-site.xml -此配置文件通過設置mapreduce.framework.name指定MapReduce的框架名稱
  • hdfs-site.xml -此配置文件包含HDFS守護程序配置設置。它還指定HDFS上的默認阻止權限和複製檢查。
  • yarn-site.xml -此配置文件指定ResourceManager和NodeManager的配置設置。

32. Hadoop 2和Hadoop 3有什麼區別?

答:以下是Hadoop 2和Hadoop 3之間的區別如圖

33.如何在Hadoop中實現安全性?

答: Kerberos用於在Hadoop中實現安全性。在高級別使用Kerberos時,有3個步驟來訪問服務。每個步驟都涉及與服務器的消息交換。

  1. 身份驗證 -第一步是將客戶端身份驗證到身份驗證服務器,然後向客戶端提供帶時間戳的TGT(票證授予票證)。
  2. 授權 -在此步驟中,客戶端使用收到的TGT從TGS(票證授予服務器)請求服務票證。
  3. 服務請求 -這是在Hadoop中實現安全性的最後一步。然後,客戶端使用服務票證向服務器驗證自己。

34.什麼是商品硬件?

答:商品硬件是一種低成本系統,由可用性較低和質量較差的系統識別。商品硬件包括RAM,因爲它執行許多需要RAM執行的服務。一個不需要高端硬件配置或超級計算機來運行Hadoop,它可以在任何商用硬件上運行。

35. NFS如何與HDFS不同?

答:有許多分佈式文件系統以自己的方式工作。NFS(網絡文件系統)是最古老和最流行的分佈式文件存儲系統之一,而HDFS(Hadoop分佈式文件系統)是最近使用和流行的處理大數據的系統。 NFS和HDFS之間的主要區別如下 -

36. Hadoop MapReduce如何工作?

MapReduce操作分爲兩個階段:

  • 映射階段 - 在此階段,輸入數據由映射任務分割。地圖任務並行運行。這些拆分數據用於分析目的。
  • 減少階段 - 在此階段,類似的拆分數據將從整個集合中聚合並顯示結果。

37.什麼是MapReduce?用於運行MapReduce程序的語法是什麼?

MapReduce是Hadoop中的一種編程模型,用於處理計算機集羣上的大型數據集,通常稱爲HDFS。它是一種並行編程模型。

運行MapReduce程序的語法是 - hadoop_jar_file.jar / input_path / output_path 。

38. NameNode,任務跟蹤器和作業跟蹤器的端口號是什麼?

  • NameNode - 端口50070
  • 任務跟蹤器- 端口50060
  • 工作追蹤- 港口50030

39. HDFS中文件或目錄級別的不同文件權限是什麼?

Hadoop分佈式文件系統(HDFS)使用特定的文件和目錄權限模型。

以下用戶級別用於HDFS :

  • Owner
  • Group
  • Others

對於上面提到的每個用戶,以下權限適用 :

  • 讀(r)
  • 寫(w)
  • 執行(x)。

上述權限對文件和目錄的工作方式不同。

對於文件:

  • (r) 權限是用於讀取文件
  • (w) 許可是寫一個文件。

對於目錄:

  • (r)權限列出內容的特定目錄。
  • (w) 權限創建或刪除一個目錄。
  • 該(x) 許可是用於訪問子目錄。

40. Mapper的基本參數是什麼?

Mapper的基本參數是:

  • LongWritable和Text
  • 文本和IntWritable

歡迎諮詢慧都在線客服,我們將幫您轉接大數據專家團隊,併發送相關資料給您!

下期預告:乾貨|50個大數據面試問題及答案完結篇:經驗豐富的Hadoop開發人員面試問題

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章