Hadoop 警告 : WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException 解決辦法

週二的晚上=素材爆棚時

我…在解決這個問題的時候左弄弄右弄弄被自己解決了,詳細步驟也無法給出。

(報錯的截圖沒存下來,但是由於一系列神奇的操作,文字部分保留了)
a
根據參考和老師所說的,總結如下:

  1. 看自己是否關閉防火牆了,防火牆沒關可能導致這個原因(之前大概是,大數據第三節課有說過方法,可以去看一下)

  2. core-site.xml中沒有配置hadoop運行時產生的文件的存儲目錄

如果上述都沒問題的話,有可能是使用hadoop namenode -format格式化時格式化了多次造成那麼spaceID不一致造成的

這時候就需要停止集羣 stop-all.sh

然後刪除在hdfs中配置的data目錄(就是在core-site.xml中配置的hadoop.tmp.dir對應的文件)下面的所有數據rm -rf /home/user1/hadoop2.7/hadoopdata/*(注意這裏的目錄就是你core-site.xml中配置的hadoop.tmp.dir對應的目錄)

接着重新格式化namenode(需要切換到bin目錄)./hadoop namenode -format

最後重新啓動hadoop集羣再操作就可以啦

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章