1、hadoop集羣安裝部署結束,一鍵啓動:
start-all.sh
2、查看各主從機器上jps進程
jps
master: ResourceManager + NameNode
slave1(第二namenode): DataNode + SecondaryNameNode + NodeManager
slave2: NodeManager + DataNode
注意:這裏的進程雖然都正確,但是並不代表所修改的配置文件都生效了。只能說明修改後的配置文件語法沒錯,可以啓動!
3、運行測試
(1)、hdfs管理界面: http://master:50070/
(2)、yarn的管理界面:http://master:8088/cluster/nodes
(3)、查看hdfs的狀態報告 :hdfs dfsadmin -report
(4)、查看yarn的基本信息:yarn node -list
注意:在(4)命令正常運行時的結果應爲:
在(2)的網頁端裏MemoryTotal不爲0B,且下方node Labels所在的表格不爲空,纔算正確,否則說明yarn-site.xml文件有未生效配置!會導致新建任務的時候,一直處於Apps Pending狀態!
根據啓動信息,到未成功啓動的node下查找日誌:大致爲
到相應的主機下打開對應的log文件,名字相同,後綴修改一下就好了。如果出現類似
org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031
等錯誤,可以斷定時yarn-site.xml未生效。
4、yarn-site未生效可能原因:語法正確,但是存在嵌套錯誤。
如:複製粘貼的時候粘貼到了別的標籤內部!此時運行start-all正常,但是app 會卡在pending。
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop200:8030</value>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop200:8033</value>
</property>
</property>