Hadoop完全分佈式集羣環境搭建

1.基本的環境配置

三個虛擬機節點，CentOS7系統，安裝jdk1.8版本
節點
192.168.128.104  master
192.168.128.107  slave
192.168.128.108  slave

2.設置免密登錄

    進入到/root/.ssh/下
    ssh-keygen -t rsa         生成祕鑰和公鑰
    cat ./id_dsa.pub >> ./authorized_keys        將公鑰內容重定向到authorized_keys文件中
    scp ./authorized_keys 192.168.128.107:/root/.ssh    將文件傳送到從節點上
    scp ./authorized_keys 192.168.128.108:/root/.ssh    

    驗證登錄

3.配置Hadoop

• conf/core-site.xml文件

#設置namenode的主機地址和端口
<property>
    <name>fs.defaule.name</name>
    <value>hdfs://192.168.128.104:9000</value>
</property>
#設置hadoop的臨時工作目錄
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/soft/hadoop-1.2</value>
</property>

• conf/hdfs-sit.xml文件

#設置dataNode的節點數
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

• 設置slave node的節點地址

配置文件： conf/slaves   
直接寫ip地址或主機名即可

192.179.128.107
192.168.128.108

• 配置SecondNode節點

配置文件： conf/masters
直接寫Ip地址即可

192.168.128.107

• 配置Hadoop的java環境

配置文件conf/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_91

4.啓動Hadoop HDFS文件系統

• 格式化namenode

進入到hadoop的bin目錄下
./hadoop namenode -format     格式化namenode

啓動hadoop的hdfs文件系統
./start-hdfs.sh   

5.配置MapReduce

配置文件 conf/mapred-site.xml

<property>
    <name>mapred.job.tracker</name>
    <value>192.168.128.104:9001</value>
</property>

6.啓動全部Hadoop

./start-all.sh