Hadoop完全分布式集群环境搭建

1.基本的环境配置

三个虚拟机节点，CentOS7系统，安装jdk1.8版本
节点
192.168.128.104  master
192.168.128.107  slave
192.168.128.108  slave

2.设置免密登录

    进入到/root/.ssh/下
    ssh-keygen -t rsa         生成秘钥和公钥
    cat ./id_dsa.pub >> ./authorized_keys        将公钥内容重定向到authorized_keys文件中
    scp ./authorized_keys 192.168.128.107:/root/.ssh    将文件传送到从节点上
    scp ./authorized_keys 192.168.128.108:/root/.ssh    

    验证登录

3.配置Hadoop

• conf/core-site.xml文件

#设置namenode的主机地址和端口
<property>
    <name>fs.defaule.name</name>
    <value>hdfs://192.168.128.104:9000</value>
</property>
#设置hadoop的临时工作目录
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/soft/hadoop-1.2</value>
</property>

• conf/hdfs-sit.xml文件

#设置dataNode的节点数
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

• 设置slave node的节点地址

配置文件： conf/slaves   
直接写ip地址或主机名即可

192.179.128.107
192.168.128.108

• 配置SecondNode节点

配置文件： conf/masters
直接写Ip地址即可

192.168.128.107

• 配置Hadoop的java环境

配置文件conf/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_91

4.启动Hadoop HDFS文件系统

• 格式化namenode

进入到hadoop的bin目录下
./hadoop namenode -format     格式化namenode

启动hadoop的hdfs文件系统
./start-hdfs.sh   

5.配置MapReduce

配置文件 conf/mapred-site.xml

<property>
    <name>mapred.job.tracker</name>
    <value>192.168.128.104:9001</value>
</property>

6.启动全部Hadoop

./start-all.sh