Hadoop環境搭建
本教程適合於在 CentOS 6.x 系統中安裝原生 Hadoop 2，適用於Hadoop 2.7.1, Hadoop 2.6.0 等版本。
本教程適用於單機環境（僞分佈式）搭建，如果想進行完全分佈式搭建，請參閱：http://blog.csdn.net/wuliowen/article/details/51921494
1、 創建hadoop用戶
i. 如果你安裝 CentOS 的時候不是用的 “hadoop” 用戶，那麼需要增加一 個名爲hadoop 的用戶。
ii. 可爲 hadoop 用戶增加管理員權限，方便部署
2、 準備工作
需要安裝 SSH 和 Java。
3、 安裝SSH、配置SSH無密碼登陸
i. 如果是分佈式的話需要在多臺服務器間設置免密碼登錄
4、 安裝Hadoop2
i. 將文檔中自帶的hadoop-2.6.0.tar.gz安裝至/user/local中(下載地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz)
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop # 將文件夾名改爲hadoop
sudo chown -R hadoop:hadoop ./hadoop # 修改文件權限
ii. Hadoop 解壓後即可使用。輸入如下命令來檢查 Hadoop 是否可用，成功則會顯示 Hadoop 版本信息：
cd/usr/local/hadoop
./bin/hadoopversion
5、 Hadoop僞分佈式配置
Hadoop 可以在單節點上以僞分佈式的方式運行，Hadoop 進程以分離的 Java 進程來運行，節點既作爲 NameNode 也作爲 DataNode，同時，讀取的是 HDFS 中的文件。
i. 在設置 Hadoop 僞分佈式配置前，我們還需要設置 HADOOP 環境變量，執行如下命令在 ~/.bashrc 中設置：
# Hadoop Environment Variables
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
生效：source ~/.bashrc
ii. Hadoop 的配置文件位於 /usr/local/hadoop/etc/hadoop/ 中，僞分佈式需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每個配置以聲明property 的 name 和 value 的方式來實現。
修改配置文件 core-site.xml,將當中的
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
同樣的，修改配置文件 hdfs-site.xml：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>localhost:50090</value>
</property>
</configuration>
6、 配置完成後，執行 NameNode 的格式化:
$ ./bin/hdfs namenode –format
成功的話，會看到 “successfully formatted” 和 “Exitting withstatus 0” 的提示，若爲 “Exitting with status 1” 則是出錯。
7、 配置文件 mapred-site.xml
i. 重命名：
mv ./etc/hadoop/mapred-site.xml.template./etc/hadoop/mapred-site.xml
ii. 再進行編輯
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
iii. 接着修改配置文件 yarn-site.xml：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
8、 啓動
./sbin/start-all.sh
./sbin/mr-jobhistory-daemon.shstart historyserver # 開啓歷史服務器，才能在Web中查看任務運行情況
9、 Jps查看
如果有這五個後臺進程則說明hadoop部署成功
