CentOS7搭建Hadoop 2.X和Hbase2.x僞分佈式環境

實驗環境

• CentOs7
• JDK8
• Hadoop-2.10.0
• Hbase-2.2.4

1.安裝JDK

JDK下載官網

這裏下載選擇JDK8 RPM長期支持版本

這裏提供個安裝包，有需要的小夥伴自行下載：鏈接 密碼：by4l

安裝：

rpm -ivh jdk-8u241-linux-x64.rpm

配置環境變量

打開配置文件：

vim /etc/profile

在末尾添加以下內容：

# JDK配置
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin:$PATH

保存退出，讓配置重新加載：

source /etc/profile

2. 下載Hadoop和Hbase

去到Hadoop官方下載地址

到中國站點下載比較快

進入 /opt 目錄

同樣方法去到Hbase下載地址

裏用wget命令下載：

wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz

wget https://mirror.bit.edu.cn/apache/hbase/2.2.4/hbase-2.2.4-bin.tar.gz

解壓：

tar -zxf hadoop-2.10.0.tar.gz

添加軟鏈接：

ln -s hadoop-2.10.0 hadoop

hadoop環境配置：

vim /etc/profile

末尾添加：

# hadoop
export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

使配置文件生效:

source /etc/profile                             

測試：

3.配置Hadoop

修改hadoop配置文件

修改 /opt/hadoop/etc/hadoop/ 下面的hadoop配置文件 hadoop-env.sh 、hdfs-site.xml 、 core-site.xml 這三個文件

1 . hadoop-env.sh

將文件中的

export JAVA_HOME=${JAVA_HOME}

改爲絕對路徑：

export JAVA_HOME=/usr/java/default

2 . hdfs-site.xml

補充最後的屬性：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3 . core-site.xml
補充最後的屬性：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

啓動Hadoop

cd /opt/hadoop/bin   //切換到Hadoop安裝目錄下的bin目錄
hdfs namenode -format       //第一次啓動Hadoop，要格式化namenode，之後再啓動就不需要再格式化了
cd /opt/hadoop/sbin   //切換到Hadoop安裝目錄下的sbin目錄
./start-dfs.sh              //啓動Hadoop
jps                         //查看已經開啓的進程，看namenode，datanode是否開啓

在centos系統的瀏覽器中輸入 http://localhost:50070 查看運行在本機上的hadoop的運行狀態

4.配置YARN

修改 /opt/hadoop/etc/hadoop 目錄下的YARN配置文件

cp mapred-site.xml.template mapred-site.xml             //複製YARN配置文件模板

1 . mapred-site.xml
在最後修改：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2 . yarn-site.xml
在最後修改：

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
  		<value>mapreduce_shuffle</value>
 	</property>
 	<property>
  		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
 	</property>
</configuration>

運行YARN，驗證是否成功

cd /opt/hadoop/sbin
./start-yarn.sh                 //開啓YARN
jps

在瀏覽器中輸入 http://localhost:8088 查看YARN管理的集羣狀態

5.免密登錄配置

5.1 首先生成密鑰對：

ssh-keygen -t rsa

一路回車即可
一路回車之後就會生成一個目錄：/root/.ssh 因爲我是root用戶所以在root目錄下

5.2 進入到ssh 目錄下，執行下面這條命令：

ssh-copy-id -i ~/.ssh/id_rsa.pub root@localhost

6.配置開機自啓

6.1 進入/etc/rc.d/init.d目錄

cd /etc/rc.d/init.d

6.2 新建文件hadoop

touch hadoop

6.3 添加以下內容，只在master配置即可

#!/bin/bash
#chkconfig:2345 20 90
#description:hadoop
#processname:hadoop
export JAVA_HOME=/usr/java/default
case $1 in
	start) su root /opt/hadoop/sbin/start-all.sh;;
    stop) su root /opt/hadoop/sbin/stop-all.sh;;
    *) echo "require start|stop" ;;
esac

6.4 給文件設置權限

chmod +x hadoop

6.5 加入開機自啓列表

chkconfig --add hadoop

6.6 查看列表

chkconfig --list

4.配置Hbase

1.解壓：

tar -zxf hbase-2.2.4-bin.tar.gz

2.添加軟連接：

ln -s hbase-2.2.4-bin.tar.gz hbase

3.配置環境變量

打開配置文件：

vim /etc/profile

在末尾添加以下內容：

# hbase環境配置
export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin:$PATH

保存退出，讓配置重新加載：

source /etc/profile

4.修改hbase-env.sh文件（這裏使用hbase自帶的zookeeper,也可使用單獨的zookeeper）

vim /opt/hbase/conf/hbase-env.sh

#指定java_home
export JAVA_HOME=/usr/java/default

#可使用hbase自帶的zookeeper
export HBASE_MANAGES_ZK=true

5.修改conf/hbase-site.xml

vim /opt/hbase/conf/hbase-site.xml

<configuration>
	<!-- 指定hbase在hdfs中的地址 -->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
    </property>
    <!-- 指定hbase是分佈式的 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <!-- 指定bhase的master地址 -->
    <property>
        <name>hbase.master.port</name>
        <value>60000</value>
    </property>
    <!-- 指定hbase的web端口 -->
    <property>
        <name>hbase.master.info.port</name>
        <value>60010</value>
    </property>

    <!-- 指定zookeeper地址 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>localhost</value>
    </property>
    <!--指定zookeeper端口-->
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2182</value>
    </property>
    <!--zookeeper超時時間-->
    <property>
        <name>zookeeper.session.timeout</name>
        <value>60000</value>
    </property>
    <!--zookeeper中bhase路徑-->
    <property>
        <name>zookeeper.znode.parent</name>
        <value>/hbase</value>
    </property>
</configuration>

6.啓動Hbase

/opt/bin/start-hbase.sh  

至此，hbase安裝完成

7.查看進程

命令行輸入jps,可看到進程：

HMaster
HRegionServer
HQuorumPeer

8.瀏覽器訪問：

在瀏覽器輸入 http://localhost:60010 即可

9.hbase shell啓動

bin/hbase shell