【大数据】启动 Hadoop 及验证

条件

采用64位Oracle Linux 6.4, JDK：1.8.0_131 64位, Hadoop：2.7.3
Spark集群实验环境共包含3台服务器，每台机器的主要参数如表所示：

服务器	HOSTNAME	IP	功能
spark1	spark1	92.16.17.1	NN/DN/RM Master/Worker
spark2	spark2	92.16.17.2	DN/NM/Worker
spark3	spark3	92.16.17.3	DN/NM/Worker

过程

1. 格式化NameNode节点
   Hadoop集群第一次运行需要先格式化 NameNode 节点, 使用如所示命令：
   
   
   
   
2. 启动HDFS文件系统
   切换到启动脚本所在的 $HADOOP_HOME/sbin 目录，执行 start-dfs.sh 脚本：
   
   分别在三台主机上使用jps命令验证NameNode和各DataNode：
   
3. 启动YARN
   
   此时，在 spark1 上运行的进程有 NameNode, SecondaryNameNode, DataNode, ResourceManager, NodeManager:
   
   在spark2和spark3上运行的进程有DataNode和NodeManager：