hadoop2.6.5完全分佈式搭建

集羣分佈部署

Jdk安裝（四臺機器都需要安裝JDK）

[root@node01 ~]# rpm -i  jdk-7u67-linux-x64.rpm
[root@node02 ~]# rpm -i  jdk-7u67-linux-x64.rpm
[root@node03 ~]# rpm -i  jdk-7u67-linux-x64.rpm
[root@node04 ~]# rpm -i  jdk-7u67-linux-x64.rpm

配置環境變量（四臺機器都需要配置環境變量）

[root@node01 ~]# vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin

 使環境變量生效

[root@node01 ~]# source /etc/profile
[root@node02 ~]# source /etc/profile
[root@node03 ~]# source /etc/profile
[root@node04 ~]# source /etc/profile

檢驗JDK安裝是否成功 

四臺都需要做爲了產生目錄（/root/.ssh）

ssh免密鑰（本機node01） 

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

把node01的公鑰分發到node02,node03,node04進行免密 

[root@node01 .ssh]# pwd
/root/.ssh
[root@node01 .ssh]# scp id_dsa.pub node02:/root/.ssh/node01.pub


[root@node02 .ssh]# pwd
/root/.ssh

[root@node02 .ssh]# ll
-rw-r--r-- 1 root root 391 Jan  8 22:18 known_hosts
-rw-r--r-- 1 root root 601 Jan  8 22:25 node01.pub

[root@node02 .ssh]# cat node01.pub >> authorized_keys


[root@node01 .ssh]# ssh node02
Last login: Tue Jan  8 22:18:51 2019 from localhost
[root@node02 ~]# exit
logout
Connection to node02 closed.


node03,node04的操作和上面的一樣不再重複操作

 創建目錄

[root@node01 .ssh]# mkdir /opt/hadoop/
[root@node02 .ssh]# mkdir /opt/hadoop/
[root@node03 .ssh]# mkdir /opt/hadoop/
[root@node04 .ssh]# mkdir /opt/hadoop/

解壓Hadoop 

 

配置環境變量 

export HADOOP_HOME=/opt/hadoop/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改配置文件：

[root@node01 hadoop]# vi hadoop-env.sh 
[root@node01 hadoop]# vi yarn-env.sh 
[root@node01 hadoop]# vi mapred-env.sh

 

 

 [root@node01 hadoop]# vi core-site.xml

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>



    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/cluster</value>
    </property>

 [root@node01 hadoop]# vi slaves

node02
node03
node04

 [root@node01 hadoop]# vi hdfs-site.xml

    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>


    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node02:50090</value>
    </property>

分發hadoop包到node的節點上面 

[root@node01 hadoop]# scp -r ./hadoop-2.6.5/ node02:/opt/hadoop/
[root@node01 hadoop]# scp -r ./hadoop-2.6.5/ node03:/opt/hadoop/
[root@node01 hadoop]# scp -r ./hadoop-2.6.5/ node04:/opt/hadoop/

格式化 

啓動集羣