通過 Job History Server 的 web console 查閱在 Yarn 上 MapReduce job 的 job conf xml 文件

很多時候,Yarn 的用戶希望知道自己運行過的某個 MapReduce job 的運行參數,此時可以從MapReduce History Server的 web console上查閱該 job的conf xml 文件內容。當然用戶也可以先登錄Yarn 的 web console的地址,然後再從上面跳轉到 Job History Server 的 web console進行查閱。本文將以一個簡單的圖文例子來具體演示該功能。


步驟:

1、在啓動 Job History Server 前,在mapred-site.xml文件裏面對其相關參數進行設置,如下:

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hostname:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hostname:19888</value>
  </property>
2、通過命令“sbin/mr-jobhistory-daemon.sh start historyserver”啓動 Job History Server

3、執行一個簡單的 MapReduce job,比如 wordcount。執行時,不加任何參數調整,使用默認設置。

4、執行完後直接登錄Job History Server 的 web console,網址爲“ http://hostname:19888/jobhistory”

在網頁上可以看到執行過的 job 列表。

5、點擊 Job ID號(比如job_1417166623034_0343),進入具體 Job 的描述頁面



6、點擊“Configuration” 鏈接,查閱MapReduce job 的 job conf xml 文件內容



7、過濾查看參數‘mapreduce.reduce.shuffle.input.buffer.percent ’的值——爲默認值“0.70”:

8、提交執行一個新的MapReduce job,並指定參數‘mapreduce.reduce.shuffle.input.buffer.percent ’的值爲“0.69”:“hadoop jar hadoop-examples-2.2.0.jar wordcount -Dmapreduce.reduce.shuffle.input.buffer.percent=0.69 /tmp/wdinput /tmp/wdoutput”。

9、執行完MR Job後,再次登錄Job History Server 的 web console,然後查閱該Job的configuration內容——此時,其參數‘mapreduce.reduce.shuffle.input.buffer.percent ’的值爲“0.69”。證明通過“-Dmapreduce.reduce.shuffle.input.buffer.percent=0.69”成功傳遞給了 MR job 新的參數值。


10、另外,除了直接登錄Job History Server 的 web console,用戶也可以先登錄Yarn 的 web console的地址,然後再從上面跳轉到 Job History Server 的 web console進行查閱:






發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章