（1）Hadoop筆記：Hadoop2.X搭建和配置

注：
1.環境爲linux CentOS release 6.6 (Final)，非虛擬機。
2.Hadoop版本2.8.3
3.JDK版本1.8.0_111
4.Hadoop的搭建分爲三種形式：單機模式、僞分佈模式、完全分佈模式，本文爲僞分佈模式。

1.首先下載Hadoop2.8.3
下載後將文件解壓

tar -xvf hadoop-2.8.3.tar.gz

如下。

2.相關文件配置
配置core-site.xml （路徑Hadoop根目錄/etc/hadoop）

vim core-site.xml 
i 開始編輯
...
ESC 退出編輯模式
shift+q
x 
回車 結束編輯

修改爲如下形式,同時新建/usr/local/hadoop/tmp 文件夾。
hdfs://xx.xx.xx.xx:9002 的ip爲服務器ip，或者可以改成任意的字符串，例如
hdfs://test1:9002 。因爲我用的服務器上9000端口被佔用所以用了9002，自己配置時可以用9000。

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
</property>
<property>
        <name>fs.default.name</name>
        <value>hdfs://xx.xx.xx.xx:9002</value>
</property>
</configuration>

配置hadoop-env.sh （路徑Hadoop根目錄/etc/hadoop）
修改如下，將JAVA_HOME改爲自己的JDK路徑。

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-0.b15.el6_8.x86_64/jre

配置hdfs-site.xml （路徑Hadoop根目錄/etc/hadoop）
修改如下，並新建usr/local/hadoop/dfs/name 和 data 文件夾。
注dfs.permissions 此處設置爲false表示 允許不要檢查權限就生成dfs上的文件。只是爲了測試方便，實際使用時請設置爲true，並使用ssh。

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

配置mapred-site.xml （路徑Hadoop根目錄/etc/hadoop）
如果不存在就用同目錄下的mapred-site.xml.template文件複製重命名一個mapred-site.xml文件
修改如下，並新建/usr/local/hadoop/var文件夾
xx.xx.xx.xx:9001 也可以像前面core-site.xml 配置時一樣，將ip改爲字符串，例如:
test1:9001

<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>xx.xx.xx.xx:9001</value>
</property>
<property>
    <name>mapred.local.dir</name>
    <value>/usr/local/hadoop/var</value>
</property>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

至此配置完成

3.Hadoop啓動
首先第一次啓動Hadoop需要初始化
進入Hadoop根目錄/bin
運行

./hadoop  namenode  -format

初始化成功後，可以在usr/local/hadoop/dfs/name 目錄（core-site.xml中配置的路徑）下看到有幾個新建的文件，表明初始化已完成。

啓動HDFS和YARN
進入Hadoop根目錄/sbin

啓動HDFS
運行，會提示輸入密碼，一共3,4次左右。

./start-dfs.sh

啓動YARN
運行，會提示輸入密碼。

./start-yarn.sh

成功啓動後，可以查看如下2個網頁
http://xx.xx.xx.xx:50070/dfshealth.html#tab-overview

http://xx.xx.xx.xx:8088/cluster

Hadoop2.8.3搭建完畢。