僞分佈式集羣環境hadoop、hbase、zookeeper搭建（全）

環境說明 

1、操作系統centos 6.5

2、jdk-7u51-linux-x64.tar.gz  

hadoop-1.1.2.tar.gz 

hbase-0.94.7-security.tar.gz  

zookeeper-3.4.5.tar.gz

設置IP地址

設置靜態ip

執行

vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR="192.168.40.137"
PREFIX="24"
GATEWAY="192.168.40.2"

設置靜態ip後不能上網，有待高手指點

關閉防火牆

• 執行命令 service iptables stop
• 驗證: service iptables status
• 關閉防火牆的自動運行
• 執行命令 chkconfig iptables off
• 驗證: chkconfig --list | grep iptables

設置主機名

執行命令

• (1)hostname m
• (2)vi /etc/sysconfig/network

設置ssh免密碼登陸

執行命令 (1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
驗證： ssh chaoren

安裝jdk

執行命令

• (1)cd /usr/local (注意linux下的文件權限問題)
• (2)mv dk-7u51-linux-x64  jdk
• (3)vi /etc/profile 增加內容如下:

export JAVA_HOME=/opt/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

• (4)source /etc/profile
• 驗證: java -version

安裝hadoop

• 執行命令 (1)tar -zxvf hadoop-1.1.2.tar.gz
• (2)mv hadoop-1.1.2 hadoop
• (3)vi /etc/profile 增加內容如下:

export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

• (4)source /etc/profile
• (5)修改conf目錄下的配置文件

1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/

2.core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://m:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
</configuration>
3.hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

4.mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>m:9001</value>
    </property>
</configuration>

• (6)hadoop namenode -format
• (7)$HADOOP_HOME/bin/start-all.sh
• 驗證: (1)執行命令jps 如果看到5個新的java進程，分別是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
• (2)在瀏覽器查看，http://m:50070  http://m:50030  

2安裝zookeeper

• zk服務器集羣規模不小於3個節點，要求各服務器之間系統時間要保持一致。
• 在m的/usr/local目錄下，解壓縮zk....tar.gz，設置環境變量
• 在conf目錄下，修改文件 vi zoo_sample.cfg  zoo.cfg
• 編輯該文件，執行vi zoo.cfg
• 修改dataDir=/usr/local/zk/data
• 新增server.0=m:2888:3888
• 創建文件夾mkdir /usr/local/zk/data
• 在data目錄下，創建文件myid，值爲0
• 啓動，在三個節點上分別執行命令zkServer.sh start
• 檢驗，在三個節點上分別執行命令zkServer.sh status

3安裝hbase

• 在hadoop0上解壓縮、重命名、設置環境變量HBASE_HOME
• 修改文件$HBASE_HOME/conf/hbase-env.sh，修改內容如下
• export JAVA_HOME=/usr/local/jdk
• export HBASE_MANAGES_ZK=true
• 修改文件hbase-site.xml，修改內容如下

<property>
	  <name>hbase.rootdir</name>
	  <value>hdfs://m:9000/hbase</value>
	</property>
	<property>
	  <name>hbase.cluster.distributed</name>
	  <value>true</value>
	</property>
	<property>
	  <name>hbase.zookeeper.quorum</name>
	  <value>m</value>
	</property>
	<property>
	  <name>dfs.replication</name>
	  <value>1</value>
	</property>

• (可選)修改regionservers，具體操作見ppt
• 啓動，執行命令start-hbase.sh

    注意：啓動hbase之前要先啓動hadoop，確保hadoop可寫入數據。