解决pig在MapReduce模式下执行任务失败,提示Failed to read data的问题

在运行pig的pig -x mapreduce 时,总是在load的时候失败,提示Failed to read data from “hdfs://ip:port/XXXX”↓

尝试了很多办法都没有成功,比如更改pig的版本、修改文件的权限等等,查了很多网站都没有解决方法。

后来无意间发现了yarn日志里有这么一句话:↓

处于好奇,查了一下这句话意味着什么,有人说yarn中对用户有白名单和黑名单,用户id低于1000就属于黑名单,所以我赶紧检查了CM里面的yarn配置,发现确实我的用户在yarn的黑名单中:↓(原本我的用户hdfs在禁止的系统用户中)

将其进行了更改后运行pig的load命令,成功!↓

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章