解決pig在MapReduce模式下執行任務失敗,提示Failed to read data的問題

在運行pig的pig -x mapreduce 時,總是在load的時候失敗,提示Failed to read data from “hdfs://ip:port/XXXX”↓

嘗試了很多辦法都沒有成功,比如更改pig的版本、修改文件的權限等等,查了很多網站都沒有解決方法。

後來無意間發現了yarn日誌裏有這麼一句話:↓

處於好奇,查了一下這句話意味着什麼,有人說yarn中對用戶有白名單和黑名單,用戶id低於1000就屬於黑名單,所以我趕緊檢查了CM裏面的yarn配置,發現確實我的用戶在yarn的黑名單中:↓(原本我的用戶hdfs在禁止的系統用戶中)

將其進行了更改後運行pig的load命令,成功!↓

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章