Hadoop的Nodes of the cluster界面MemoryTotal为0B

1、hadoop集群安装部署结束,一键启动:

start-all.sh

2、查看各主从机器上jps进程

jps
master: ResourceManager + NameNode

slave1(第二namenode): DataNode + SecondaryNameNode + NodeManager
slave2: NodeManager + DataNode

注意:这里的进程虽然都正确,但是并不代表所修改的配置文件都生效了。只能说明修改后的配置文件语法没错,可以启动!

3、运行测试

(1)、hdfs管理界面   http://master:50070/

(2)、yarn的管理界面:http://master:8088/cluster/nodes

 

(3)、查看hdfs的状态报告 hdfs dfsadmin -report

(4)、查看yarn的基本信息yarn  node -list    

 注意:在(4)命令正常运行时的结果应为:

   

在(2)的网页端里MemoryTotal不为0B,且下方node Labels所在的表格不为空,才算正确,否则说明yarn-site.xml文件有未生效配置!会导致新建任务的时候,一直处于Apps Pending状态!

根据启动信息,到未成功启动的node下查找日志:大致为

 到相应的主机下打开对应的log文件,名字相同,后缀修改一下就好了。如果出现类似

org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031 

等错误,可以断定时yarn-site.xml未生效。

4、yarn-site未生效可能原因:语法正确,但是存在嵌套错误。

如:复制粘贴的时候粘贴到了别的标签内部!此时运行start-all正常,但是app 会卡在pending。


<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop200:8030</value>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop200:8033</value>
</property>

</property>

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章