Hadoop 2.0 安裝嚮導

最新版本的HADOOP2.0與老版本相比有不同的目錄結構。

本文將介紹一種簡單安裝Hadoop2.0到你的電腦上的方法（Hadoop 0.23 安裝）。

這有許多可以執行的方式，現在介紹以下：

如果想安裝老版本的hadoop此處不再介紹。

首先一個可用的linux操作系統，此處介紹使用ubuntu

創建一個名爲hadoop的用戶並做以下操作：

1、  配置SSH

2、  安裝JDK

3、  安裝Hadoop

更新 repository
#sudo apt-get update

下載SSH

view sourceprint?

1	#sudo apt-get install openssh-serveropenssh-client

2	#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

3	#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4

5	#sudo chmod go-w $HOME $HOME/.ssh

6	#sudo chmod 600 $HOME/.ssh/authorized_keys

7	#sudo chown `whoami` $HOME/.ssh/authorized_keys

測試 SSH 

view sourceprint?

01	#ssh localhost

02

OK

03

#exit

04

安裝jdk

05

06	#sudo mkdir /usr/java

07	#cd /usr/java

08	#sudo wgethttp://download.oracle.com/otn-pub/java/jdk/6u31-b04/jdk-6u31-linux-i586.bin

09

10	#sudo chmod o+w jdk-6u31-linux-i586.bin

11	#sudo chmod +x jdk-6u31-linux-i586.bin

12	#sudo ./jdk-6u31-linux-i586.bin

下載並解壓hadoop2.0.x並解壓到一個文件夾中，此處叫此文件夾爲HADOOP_PREFIX

設置環境變量

view sourceprint?

1	exportHADOOP_PREFIX="/home/hadoop/software/hadoop-2.0.0-alpha"

2	export PATH=$PATH:$HADOOP_PREFIX/bin

3	export PATH=$PATH:$HADOOP_PREFIX/sbin

4

5	exportHADOOP_MAPRED_HOME=${HADOOP_PREFIX}

6	export HADOOP_COMMON_HOME=${HADOOP_PREFIX}

7	export HADOOP_HDFS_HOME=${HADOOP_PREFIX}

8	export YARN_HOME=${HADOOP_PREFIX}

重啓一次電腦使env / path 變量生效

Hadoop 2.x 版本中 /etc/hadoop 是默認的配置文件夾

需要在/etc/hadoop目錄中修改/創建以下屬性文件

編輯 core-site.xml

view sourceprint?

01	<configuration>

02

03	<property>

04	<name>fs.default.name</name>

05	<value>hdfs://localhost:8020</value>

06	<description>The name of the default file system. Either the

07	literal string "local" or a host:port for NDFS.

08	</description>

09	<final>true</final>

10	</property>

11	</configuration>

編輯hdfs-site.xml

 

view sourceprint?

01	<configuration>

02	<property>

03	<name>dfs.namenode.name.dir</name>

04	<value>file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/name</value>

05	<description>Determines where on the local filesystem the DFS name node

06	should store the name table. If this is a comma-delimited list

07	of directories then the name table is replicated in all of the

08	directories, for redundancy. </description>

09	<final>true</final>

10	</property>

11

12	<property>

13	<name>dfs.datanode.data.dir</name>

14	<value>file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/data</value>

15	<description>Determines where on the local filesystem an DFS data node

16	should store its blocks. If this is a comma-delimited

17	list of directories, then data will be stored in all named

18	directories, typically on different devices.

19	Directories that do not exist are ignored.

20	</description>

21	<final>true</final>

22	</property>

23

24	<property>

25	<name>dfs.replication</name>

26	<value>1</value>

27	</property>

28

29	<property>

30	<name>dfs.permissions</name>

31	<value>false</value>

32	</property>

33

34	</configuration>

路徑

file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/name與

file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/data

是計算機中的一些文件夾，用於存放數據和編輯文件的

路徑必須用一個詳細的URI描述。

在 /etc/hadoop 使用以下內容創建一個文件mapred-site.xml

view sourceprint?

01	<configuration>

02	<property>

03	<name>mapreduce.framework.name</name>

04	<value>yarn</value>

05	</property>

06

07	<property>

08	<name>mapred.system.dir</name>

09	<value>file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/system</value>

10	<final>true</final>

11	</property>

12

13	<property>

14	<name>mapred.local.dir</name>

15	<value>file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/local</value>

16	<final>true</final>

17	</property>

18

19	</configuration>

路徑

file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/system與

file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/local

爲計算機中用於存放數據的文件夾

路徑必須用一個詳細的URI描述。

編輯yarn-site.xml

view sourceprint?

01	<configuration>

02	<property>

03	<name>yarn.nodemanager.aux-services</name>

04	<value>mapreduce.shuffle</value>

05	</property>

06	<property>

07	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

08	<value>org.apache.hadoop.mapred.ShuffleHandler</value>

09	</property>

10

11	</configuration>

在 /etc/hadoop 目錄中

創建hadoop-env.sh 並添加：

export JAVA_HOME=/usr/java/jdk1.6.0_31

將以上JAVA_HOME 改爲本機jdk安裝地址

保存並準備格式化

格式化 namenode

# hdfs namenode –format

 

開始守護進程

# hadoop-daemon.sh start namenode

# hadoop-daemon.sh start datanode

可以同時啓動：

# start-dfs.sh

開始 Yarn 守護進程

# yarn-daemon.sh start resourcemanager

# yarn-daemon.sh start nodemanager

或同時啓動：

# start-yarn.sh

檢查守護進程是否啓動

# jps

2539 NameNode
2744 NodeManager
3075 Jps
3030 DataNode
2691 ResourceManager

瀏覽UI

打開 localhost:8088 查看資源管理頁面

OK

搞定手工！

祝：Hadoop玩得愉快！

文章出處：http://blog.csdn.net/shenshouer/article/details/7613234