Hadoop安裝文檔
1.安裝環境
操作系統類型：CentOS-6.2-x86_64-bin-DVD1.iso
JDK：jdk-7u21-linux-x64 .rpm
Hadoop：hadoop-1.1.2.tar.gz
集羣中包括四個節點，一個master,三個slaver,
相關設置如下:
|
機器名稱 |
IP地址 |
|
Master.Hadoop |
10.1.250.102 |
|
Slave1.Hadoop |
10.1.250.103 |
|
Slave2.Hadoop |
10.1.250.104 |
|
Slave3.Hadoop |
10.1.250.105 |
2.安裝
2.1網絡配置
1.修改/etc/sysconfig/network文件，配置主機名
修改後內容如下:
Master.Hadoop配置後內容 ：
Slave1.hadoop配置後內容：
Slave2.hadoop配置後內容：
Slave3.hadoop配置後內容:
2.修改/etc/hosts文件
各節點機器配置後如下：
2.2創建hadoop用戶
2.3 hadoop用戶SSH無密碼驗證
沒有安裝ssh和rsync，可以通過下面命令進行安裝:
yum install ssh 安裝SSH協議
yum install rsync （rsync是一個遠程數據同步工具，可通過LAN/WAN快速同步多臺主機間的文件）
service sshd restart 啓動服務
需要配置master->slaver和slaver->masetr的雙向無密碼驗證。
過程如下。
1．修改/etc/ssh/sshd_config配置文件
vi /etc/ssh/sshd_config
（要確保這些字符前無註釋符號“#”）
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
PasswordAuthentication yes
PeimitEmptyPasswords yes
2． 先在所有節點（主，從）上執行如下命令
su – hadoop
cd $HOME
mkdir .ssh
chmod 700 .ssh ---這個命令一定要執行，不然會報錯
ssh-keygen –t rsa
ssh-keygen –t dsa
cat *.pub>>authorized_keys;
chmod 600 authorized_keys
3．在所有slave節點上依次執行
主機Slave1.Hadoop上執行命令:
scpauthorized_keys Master.Hadoop:/home/hadoop/.ssh/keys_s1
主機Slave2.Hadoop上執行命令:
scpauthorized_keys Master.Hadoop:/home/hadoop/.ssh/keys_s2
主機Slave3.Hadoop上執行命令:
scpauthorized_keys Master.Hadoop:/home/hadoop/.ssh/keys_s3
4．在master節點上執行
catKeys_s1>>authorized_keys
catKeys_s2>>authorized_keys
catKeys_s3>>authorized_keys
scpauthorized_keys Slave1.Hadoop:/home/hadoop/.ssh/.
scpauthorized_keys Slave2.Hadoop:/home/hadoop/.ssh/.
scpauthorized_keys Slave3.Hadoop:/home/hadoop/.ssh/.
至此ssh配置完成，注意以上命令都是在hadoop用戶下執行
2.4 Java環境安裝
1．安裝JDK
以root用戶安裝
找到jdk的安裝文件，我的是rpm文件，直接運行
rpm –Uvhjdk-7u21-linux-x64.rpm
java安裝完以後位於/usr/java
各節點都需要安裝jdk
2．配置環境變量
編輯/etc/profile文件
加入
#set java environment
exportJAVA_HOME=/usr/java/jdk1.7.0_21
exportJRE_HOME=/usr/java/jdk1.7.0_21/jre
exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
exportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
配置完成後如下
同樣各個節點都需要配置
然後執行source /etc/profile 來重新編譯一次
驗證配置成功
Javac –version
2.5安裝Hadoop集羣
1.解壓hadoop
tar –zxvf hadoop-1.1.2-bin.tar.gz;
解壓以後即可，無需安裝，mv到/usr/hadoop目錄下
mv hadoop-1.1.2/usr/hadoop
修改權限
chown –R hadoop:hadoop hadoop
在/usr/hadoop目錄下創建 tmp文件
mkdir tmp
2.配置 /etc/profile文件，加入如下修改
# set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1
3.重新編譯/etc/profile
Source/etc/profile
4.配置 hadoop
1.配置/usr/hadoop/conf/hadoop-env.sh在最後加入
# set java environment
export JAVA_HOME=/usr/java/jdk1.7.0_21
2.配置core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>A base for other temporarydirectories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://10.1.250.102:9000</value>
</property>
</configuration>
3.配置hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4.配置 mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://10.1.250.102:9001</value>
</property>
</configuration>
5.配置masters文件
[root@Master conf]# more masters
10.1.250.102
以上五步需要在各節點配置，且配置一樣。
6.配置slaves文件，本步只需在master主機上配置
[root@Master conf]# more slaves
10.1.250.103
10.1.250.104
10.1.250.105
5.啓動及驗證
1.格式化hdfs文件系統
hadoop namenode -format
2.啓動hadoop
Start-all.sh
3.驗證hadoop
1).jps
2)hadoopdfsadmin -report