僞分佈式Hadoop及開發環境搭建（二）

大頭的來了！

四. 安裝Hadoop

這一部分是安裝Hadoop

【步驟】

Step 0. 配置Hadoop環境變量

文件1： sudo gedit ./.bashrc
在文件末尾添加：

#HADOOP VARIABLES START

export JAVA_HOME=/opt/java/jdk1.7.0_79

export HADOOP_INSTALL=/opt/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

step 1. 下載hadoop-2.6.1.tar.gz

注意別下載成src源碼文件了

step 2. 拷貝解壓至/opt文件夾下，並且修改文件夾名字爲hadoop

step 3. 修改配置文件（這個至關重要）

文件1： /opt/hadoop/etc/hadoop/hadoop-env.sh

修改：export JAVA_HOME=/opt/java/jdk1.7.0_79

文件2： /opt/hadoop/etc/hadoop/core-site.xml


在<configuration></configuration>中間添加內容：
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

注：/home/hadoop/tmp意味着我自己創建了一個tmp文件夾

文件3： /opt/hadoop/etc/hadoop/hdfs-site.xml
<configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

文件4： /opt/hadoop/etc/hadoop/yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>
</property>  
<property>
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
</property>
</configuration>

step 4. 格式化namenode

bin/hdfs namenode -format

看到Exitting with status 0表示成功

step 5. 開啓進程

開啓：dfs
sbin/start-dfs.sh

發現找不到文件，這是權限問題，於是：sudo chmod 777  -R /opt

開啓：yarn

sbin/start-yarn.sh

step 6. 測試Hadoop

瀏覽器輸入：http://127.0.0.1:8088/cluster

看到正常的頁面表示安裝Hadoop成功。

http://localhost:50070/dfshealth.html#tab-overview

參考：

http://www.powerxing.com/install-hadoop/ 最全

https://my.oschina.net/hoodlake/blog/220830 啓動的時候信息提示解讀

http://blog.csdn.net/gamer_gyt/article/details/46793731

http://www.linuxidc.com/Linux/2014-01/95570p2.htm 啓動腳本二

http://www.tuicool.com/articles/NBvMv2/