Apache Hadoop僞分佈式安裝

Apache Hadoop僞分佈式安裝
操作系統：CentOS 6.5
連接工具：XShell，root用戶登錄虛擬機
安裝包：
- JDK，版本：jdk-7u71-linux-x64.gz
下載地址：http://www.oracle.com/technetwork/java/javase/downloads
- Hadoop，版本：hadoop-2.6.4.tar.gz
下載地址：http://hadoop.apache.org/releases.html

一. 準備工作
1.關閉防火牆

service iptables stop
service iptables status (檢查防火牆是否關閉)

2.關閉防火牆自啓動

chkconfig iptables off
chkconfig –list | grep iptables (檢查防火牆是否關閉自動運行)

3.設置主機名
vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop
注：設置主機名永久生效，需要重新啓動才能看到效果，可以通過hostname hadoop命令設置一次生效，這樣就不需要重啓了，使用hostname，查看設置的主機名。
4.設置IP地址與主機名綁定
vi /etc/hosts

Windows環境
以管理員的身份編輯C:\Windows\System32\drivers\etc\hosts

5.設置SSH免密碼登錄
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
二. 安裝JDK
1. 解壓縮安裝包（需要跳轉到安裝包所在目錄執行此命令）
tar -xvf jdk-7u71-linux-x64.gz
2. 配置環境變量
vi ~/.bash_profile（僅對當前用戶生效）

3. 使環境變量生效
source ~/.bash_profile
4. 驗證JDK是否安裝成功
java -version

三. 安裝Hadoop
1. 解壓縮安裝包（需要跳轉到安裝包所在目錄執行此命令）
tar -xvf hadoop-2.6.4.tar.gz
2. 配置環境變量

3. 使環境變量生效
source ~/.bash_profile
4. 配置hadoop配置文件（需要跳轉到hadoop安裝目錄/etc/hadoop）
（1）hadoop-env.sh，記錄腳本中要用到的環境變量，以運行Hadoop。
vi hadoop-env.sh

export JAVA_HOME=/home/topsec/software/jdk1.7.0_71
（2）core-site.xml，Hadoop Core的配置項，例如HDFS和MapReduce常用的I/O設置等。
vi core-site.xml

<configuration>
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop:9000</value>
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/home/topsec/hadoopdata</value>
 </property>
</configuration>

（3）hdfs-site.xml，Hadoop守護進程的配置項，包括namenode，輔助namenode和datanode。
vi hdfs-site.xml

<configuration>
 <property>
   <name>dfs.replication</name>
   <value>1</value>
 </property>
</configuration>

(4)yarn-env.sh

vi yarn -env.sh

export JAVA_HOME=/home/topsec/software/jdk1.7.0_71

(5)yarn-site.xml
vi yarn-site.xml

<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value> hadoop:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value> hadoop:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value> hadoop:18088</value>
</property> 
</configuration>

(6)mapred-site.xml，MapReduce守護進程的配置項，包括jobtracker和tasktracker。

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5.格式化namenode，建立namenode自己的文件結構

hadoop namenode -format

6.啓動HDFS
1.分步啓動：

      start-dfs.sh
      start-yarn.sh

2.一次全部啓動：

      start-all.sh

7.查看進程，檢查HDFS是否啓動成功

jps  

HDFS的進程：
NameNode
DataNode
SecondaryNameNode
Yarn的進程：
ResourceManager
NodeManager