在運行pig的pig -x mapreduce 時,總是在load的時候失敗,提示Failed to read data from “hdfs://ip:port/XXXX”↓
嘗試了很多辦法都沒有成功,比如更改pig的版本、修改文件的權限等等,查了很多網站都沒有解決方法。
後來無意間發現了yarn日誌裏有這麼一句話:↓
處於好奇,查了一下這句話意味着什麼,有人說yarn中對用戶有白名單和黑名單,用戶id低於1000就屬於黑名單,所以我趕緊檢查了CM裏面的yarn配置,發現確實我的用戶在yarn的黑名單中:↓(原本我的用戶hdfs在禁止的系統用戶中)
將其進行了更改後運行pig的load命令,成功!↓