Hadoop + HBase 安裝配置

【設置Hosts 和 Hostname】

在master和slave的/etc/hosts下共同增加：
10.64.29.154 master 
10.64.68.131 slave   

結果如下：
10.64.29.154    master
10.64.68.131    slave   # Added by NetworkManager
127.0.0.1       localhost.localdomain   localhost
::1     CentOS  localhost6.localdomain6 localhost6

修改master的network文件：
vi /etc/sysconfig/network
HOSTNAME=master

修改slave的network文件：
vi /etc/sysconfig/network
HOSTNAME=slave

【安裝JDK】

安裝

rpm -ivh jdk-7-linux-x64.rpm  

設置軟鏈接

ln -s /usr/java/jdk1.7.**   /usr/java/jdk 

【配置java環境變量】

vi  /etc/profile [在文件末添加]
export JAVA_HOME=/usr/java/jdk
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

保存退出，使設置生效
source  /etc/profile

【安裝openssh，設置ssh無密碼連接】

參照上一篇博客 http://blog.csdn.net/wangjiannuaa/article/details/7443094

最終效果：在master 上訪問slave不需要密碼。

【安裝 Hadoop】

tar zxvf hadoop-0.20.2.tar.gz
cp -r  hadoop-0.20.2  /opt/hadoop

配置hadoop環境變量
vi  /etc/profile  在文件末添加
export HADOOP_HOME=/opt/hadoop

配置hadoop
cd  /opt/hadoop/conf
vi  hadoop-env.sh 在末尾添加
export JAVA_HOME=/usr/java/jdk

vi core-site.xml  在<configuration>節點下添加
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop-${user.name}/tmp</value>
</property>
 
<property>
  <name>fs.default.name</name>
  <value>hdfs://master:9000</value>
</property>

vi hdfs-site.xml 在<configuration>節點下添加
<configuration>
<property>
     <name>dfs.name.dir</name>
     <value>/home/hadoop-${user.name}/dfs_name</value>
</property>

<property>
      <name>dfs.data.dir</name>
      <value>/home/hadoop-${user.name}/dfs_data</value>
</property>

<property>
      <name>dfs.replication</name>
      <value>1</value>
</property>
</configuration>

vi mapred-site.xml  在<configuration>節點下添加
<property>
  <name>mapred.job.tracker</name>
  <value>master:9001</value>
</property>

vi masters
[將內容改爲以下內容，注意：不是添加是更改]
master

vi slaves
[將內容改爲以下內容，注意：不是添加是更改]
slave

【安裝Hbase】

tar zxvf hbase-0.90.3.tar.gz
cp -r  hbase-0.90.3  /opt/hbase

編輯hbase配置文件
cd /opt/hbase/conf
vi hbase-env.sh

[在文件的末尾添加]
export JAVA_HOME=/usr/java/jdk
export HADOOP_CONF_DIR=/opt/hadoop/conf
export HBASE_HOME=/opt/hbase
export HBASE_LOG_DIR=${HBASE_HOME}/logs
export HBASE_PID_DIR=${HBASE_HOME}/pids
export HBASE_MANAGES_ZK=true
export HBASE_CLASSPATH=$HBASE_CLASSPATH:/opt/hadoop/conf



vi hbase-site.xml [在<configuration>節點下添加 ]
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase</value>
</property>
 
<property>
    <name>hbase.tmp.dir</name>
    <value>/home/hbase-${user.name}</value>
</property>
 
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
 
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
 
<property>
      <name>hbase.zookeeper.quorum</name>
      <value>slave</value>
</property>
 
<property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/home/hbase-data</value>
</property>

vi regionservers [ 替換其中內容 ]
slave

替換文件：

cp /opt/hbase/lib/hadoop-core-0.20-append-r1056497.jar /opt/hbase/lib/hadoop-core-0.20-append-r1056497.jar.bk

cp  /opt/hadoop/hadoop-0.20.2-core.jar  /opt/hbase/lib/hadoop-core-0.20-append-r1056497.jar

格式化namenode:

hadoop namenode -format

【測試以及使用】

命令行：

[root@master opt]# jps
5743 NameNode
5959 JobTracker
5884 SecondaryNameNode
6025 Jps

注意：hadoop namenode -format 在格式化之前NameNode進程可能無法啓動。

[root@slave opt]# jps
4249 DataNode
4334 TaskTracker
4374 Jps

（如果出現錯誤就不要往下做了，先排除）

[root@master bin]# ./hadoop dfsadmin -report
Configured Capacity: 23820673024 (22.18 GB)
Present Capacity: 12142039040 (11.31 GB)
DFS Remaining: 12141969408 (11.31 GB)
DFS Used: 69632 (68 KB)
DFS Used%: 0%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Name: 10.64.68.131:50010
Decommission Status : Normal
Configured Capacity: 23820673024 (22.18 GB)
DFS Used: 69632 (68 KB)
Non DFS Used: 11678633984 (10.88 GB)
DFS Remaining: 12141969408(11.31 GB)
DFS Used%: 0%
DFS Remaining%: 50.97%
Last contact: Tue Apr 10 14:50:21 PDT 2012

瀏覽器訪問：

http://10.64.29.154:50070/

http://10.64.29.154:50030/

hbase啓動後的進程：

[root@master opt]# jps
7052 Jps
5743 NameNode
5959 JobTracker
5884 SecondaryNameNode
6817 HMaster

[root@slave opt]# jps
4249 DataNode
4334 TaskTracker
6540 HQuorumPeer
6864 Jps
6592 HRegionServer

參考：

http://www.oschina.net/question/54100_24054

http://zhans52.iteye.com/blog/1102649

http://blog.csdn.net/hguisu/article/details/7244413

http://running.iteye.com/blog/897277

注意事項：

見評論