hadoop運維問題彙總,持續更新

1.hadoop運行一段時間後關閉集羣居然報了no datanode/namenode... to stop這樣的問題,原因是hadoop運行各節點的節點進程id和pid文件記錄的進程號不一致導致,造成進程id不一致的原因還不明確,最好在搭建hadoop環境時設置hadoop-env.sh中的export HADOOP_PID_DIR=${HADOOP_HOME}/pid,默認的目錄是/tmp,linux默認會每隔一段時(一般是一個月或者7天左右)去刪除這個目錄下的文件。因此刪掉hadoop-hadoop-jobtracker.pid和hadoop-hadoop-namenode.pid兩個文件後,namenode自然就找不到datanode上的這兩個進程了。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章