0017-Spark的HistoryServer不能查看到所有歷史作業分析

溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。

1.問題描述

Spark的HistoryServer能正常查看之前的歷史作業日誌,但新提交的作業在執行完成後未能在HistoryServer頁面查看。

2.問題復現

1.分別使用root和ec2-user用戶執行作業

0017-Spark的HistoryServer不能查看到所有歷史作業分析

2.通過sparkHistory Server可以正常查看到所有歷史作業

0017-Spark的HistoryServer不能查看到所有歷史作業分析

3.將/user/spark/applicationHistory目錄的所屬組修改爲supergroup,再次執行作業

sudo –u hdfs hadoop dfs –chown spark:supergroup /user/spark/applicationHistroy

0017-Spark的HistoryServer不能查看到所有歷史作業分析

作業執行完成

0017-Spark的HistoryServer不能查看到所有歷史作業分析

HDFS上正常記錄了spark作業日誌,但作業所屬group爲supergroup

0017-Spark的HistoryServer不能查看到所有歷史作業分析

sparkHistoryServer報異常,沒有權限訪問歷史job目錄

0017-Spark的HistoryServer不能查看到所有歷史作業分析

4.在History Server未查看到剛執行完成的007作業

0017-Spark的HistoryServer不能查看到所有歷史作業分析

3.問題原因

由於/user/spark/applicationHistory目錄的所屬組爲supergroup,導致所有用戶作業的目錄均爲supergroup組,之前能正常查看的歷史作業由於目錄的所屬組任爲spark。

4.解決方法

將/user/spark/applicationHistory目錄及該目錄下的子目錄所屬組修改爲spark

sudo –u hdfs hadoop dfs –chgrp –R spark /user/spark/applicationHistory

0017-Spark的HistoryServer不能查看到所有歷史作業分析

修改後所有歷史作業均可正常查看

0017-Spark的HistoryServer不能查看到所有歷史作業分析

醉酒鞭名馬,少年多浮誇! 嶺南浣溪沙,嘔吐酒肆下!摯友不肯放,數據玩的花!
溫馨提示:要看高清無碼套圖,請使用手機打開並單擊圖片放大查看。
0017-Spark的HistoryServer不能查看到所有歷史作業分析

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章