直接上問題:這兩天爲了試驗,安裝了兩套集羣:
(1)32位hadoop1集羣(5個節點);
(2)64位hadoop2集羣(6個節點)
兩個集羣中都遇到過這樣的問題:在namenode正常啓動hadoop集羣后,查看datanode是正常的顯示存在進程,但是在web界面中查看的時候,發現數據節點全部屬於宕機,或者就是乾脆直接沒有datanode.還有種情況,datanode啓動後,jps查看是在的,但是一會再去查看,發現掛掉了.還有就是,存儲空間顯示佔用100%
其實這兩個集羣問題是一樣的,都是由於我自己在格式化namenode之後,沒有去刪除主從節點上面的用於保存數據的文件夾(即dfs.name.dir配置的路徑下的文件),導致內部namenode存在的關於文件系統的元信息和數據節點對應不上造成的.
解決方法:
刪除掉各個節點上面的tmp(可能與我設置的路徑和文件不同,對應你自己在hdfs-site.xml中設置的dfs.name.dir路徑就好了),然後格式化集羣,最後重啓集羣,問題搞定了.