Hadoop的Nodes of the cluster界面MemoryTotal爲0B

1、hadoop集羣安裝部署結束,一鍵啓動:

start-all.sh

2、查看各主從機器上jps進程

jps
master: ResourceManager + NameNode

slave1(第二namenode): DataNode + SecondaryNameNode + NodeManager
slave2: NodeManager + DataNode

注意:這裏的進程雖然都正確,但是並不代表所修改的配置文件都生效了。只能說明修改後的配置文件語法沒錯,可以啓動!

3、運行測試

(1)、hdfs管理界面   http://master:50070/

(2)、yarn的管理界面:http://master:8088/cluster/nodes

 

(3)、查看hdfs的狀態報告 hdfs dfsadmin -report

(4)、查看yarn的基本信息yarn  node -list    

 注意:在(4)命令正常運行時的結果應爲:

   

在(2)的網頁端裏MemoryTotal不爲0B,且下方node Labels所在的表格不爲空,纔算正確,否則說明yarn-site.xml文件有未生效配置!會導致新建任務的時候,一直處於Apps Pending狀態!

根據啓動信息,到未成功啓動的node下查找日誌:大致爲

 到相應的主機下打開對應的log文件,名字相同,後綴修改一下就好了。如果出現類似

org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031 

等錯誤,可以斷定時yarn-site.xml未生效。

4、yarn-site未生效可能原因:語法正確,但是存在嵌套錯誤。

如:複製粘貼的時候粘貼到了別的標籤內部!此時運行start-all正常,但是app 會卡在pending。


<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop200:8030</value>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop200:8033</value>
</property>

</property>

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章