超級詳細超級簡單助你搭建hadoop分佈式集羣

資源鏈接

點擊進入資源下載鏈接，很齊全

安裝Centos6.5:（超詳細）

點擊鏈接進入查看安裝Centos6.5全過程

Centos6.5虛擬機網絡配置及克隆2臺服務器（超詳細）

點擊進入查看詳細配置修改過程

安裝java

將java壓縮包解壓：
tar -zxvf jdk-8u191-linux-x64.tar.gz
在/etc/profile文件裏添加jdk路徑：

export JAVA_HOME=/app/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre

讓配置生效：
source /etc/profile
jdk安裝成功

安裝配置hadoop

解壓：hadoop包
tar -zxvf hadoop-2.6.4.tar.gz

將HADOOP_HOME導出 vim /etc/profile

export JAVA_HOME=/app/jdk1.8.0_191
export HADOOP_HOME=/app/hadoop-2.6.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JRE_HOME=$JAVA_HOME/jre

需要配置的文件的位置爲/usr/local/hadoop-2.7.7/etc/hadoop，需要修改的有以下幾個文件：
hadoop-env.sh 添加jdk的環境變量

yarn-env.sh 添加jdk的環境變量

core-site.xml
添加下面配置文件

<configuration>
        <property>
                <!-- NameNode URI -->
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <!-- SequenceFiles中使用的讀/寫緩衝區的大小-->
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <!-- temp目錄需要自己創建 -->
                <value>file:/app/hadoop-2.6.4/temp</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
</configuration>

hdfs-site.xml
添加下面配置文件

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <!-- 根據自己的主節點修改-->
                <value>master:9001</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <!-- 創建namenode的目錄-->
                <value>file:/app/hadoop-2.6.4/namenode</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <!-- 創建datanode的目錄-->
                <value>file:/app/hadoop-2.6.4/datanode</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <!-- 副本數量-->
                <value>2</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
        <property>
                <name>dfs.web.ugi</name>
                <value>supergroup</value>
        </property>

</configuration>

mapred-site.xml
cp mapred-site.xml.template mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>master:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>master:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master:8088</value>
        </property>
</configuration>

slaves
修改爲：

slave01
slave02

scp -r hadoop-2.6.4 root@slave01:/app/
scp -r hadoop-2.6.4 root@slave02:/app/

格式化namenode(第一次安裝)

./bin/hdfs namenode -format
successfully formatted表示格式化成功

啓動hadoop：

[root@master sbin]# sh start-all.sh
查看進程 jps



進入master:50070查看hdfs

進入yarn: master:8088 查看yarn資源情況

一個分佈式的hadoop集羣安裝完畢，如果有問題，歡迎評論討論