hadoop job 的container日誌的查看

一般有幾個地方可以查看:

1、通過本地日誌目錄查看對應container日誌文件,默認在hadoop的安裝目錄下的/logs/userlogs/:直接用查看文件命令查看即可

該地方的應用運行日誌不一定最全,因爲任務運行日誌由每一個NM產生在本地,然後再給聚合到文件系統中(配置聚合日誌功能)。

2、瀏覽器查看,默認在/yarn/logs/${user}/logs:需要找對應的applicationId,甚至contaninerId

如:

[hadoop@hadoop01 ~]$ hdfs dfs -cat /yarn/logs/hadoop/logs/application_1523430872525_0002/hadoop01_60127

Log內容省略:

注:

${user} 是啓動yarn模塊服務的用戶,比如我的是hadoop用戶啓動的,所以我的目錄爲:/yarn/logs/hadoop/logs。

該種方式需要配置聚合日誌功能

該種方式需要啓動jobhistoryserver服務

 

3、使用命令查看:可用yarn logs 加回車鍵查看其幫助

查看application的日誌:

[hadoop@hadoop01 ~]$ yarn logs -applicationId application_1523430872525_0002 

查看具體某一個container的日誌:

[hadoop@hadoop01 ~]$ yarn logs -applicationId application_1523430872525_0002 -containerId container_1523191604137_0016_02_000001 -nodeAddress hadoop01:60127

log日誌省略:

4、當然查看具體日誌方式有很多,還可以使用瀏覽器中直接點擊查看,比如http://hadoop:19888  或者http://hadoop01:8088 中的鏈接去查看其日誌內容

如:

 

等等的方式,出啦具體的錯誤你就會想盡一切辦法找其具體日誌信息來定位錯誤。。。。。。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章