依赖文件
链接:https://pan.baidu.com/s/18NuGdO3I9z-Uu9L3Xijvsw
提取码:wqq0
依赖环境
- Apache hbase-1.1.1-bin.tar.gz
- spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz
- apache-kylin-2.6.3-bin-hbase1x.tar.gz
注意:
- kylin-2.6.3-bin-hbase1x所依赖的hbase为1.1.1版本
- 要求hbase的hbase.zookeeper.quorum值必须只能是host1,host2,…。不允许出现host:2181,…
安装HBase1.1.1
- 下载hbase 1.1.1版本
hbase-1.1.1-bin.tar.gz
- 上传到一台服务器,解压缩
tar -xvzf hbase-1.1.1-bin.tar.gz -C ../servers/
- 修改
hbase-env.sh
添加JAVA_HOME
环境变量
export JAVA_HOME=/export/servers/jdk1.8.0_141/
export HBASE_MANAGES_ZK=false
- 修改
hbase-site.xml
,添加以下配置。
注意:
- 修改HDFS NameNode节点名称
- 修改zookeeper服务器名称
- 修改zookeeper数据目录位置
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop01:8020/hbase_1.1.1</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 0.98后的新变动,之前版本没有.port,默认端口为60000 -->
<property>
<name>hbase.master.port</name>
<value>16000</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop01,hadoop02,hadoop03</value>
</property>
<!-- 要求hbase的hbase.zookeeper.quorum值必须只能是host1,host2,...。不允许出现host:2181,...-->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/export/servers/zookeeper-3.4.9/zkdatas</value>
</property>
<property>
<name>hbase.thrift.support.proxyuser</name>
<value>true</value>
</property>
<property>
<name>hbase.regionserver.thrift.http</name>
<value>true</value>
</property>
</configuration>
- 修改
regionservers
,添加其他的节点
hadoop01
- 在hbase conf目录中创建
core-site.xml
和hdfs-site.xml
软连接
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml $PWD/core-site.xml
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml $PWD/hdfs-site.xml
- 配置HBase环境变量
# Apache HBase 1.1.1
export HBASE_HOME=/export/servers/hbase-1.1.1
export PATH=$HADOOP/sbin:$HADOOP/bin:$HBASE_HOME/bin:$PATH
刷新环境变量
source /etc/profile
9.使用 zkCli 删除之前的 hbase 节点
# 进入到 zkCli中
/export/servers/zookeeper-3.4.9/bin/zkCli.sh
#先启动zk再执行删除
# 执行删除
rmr /hbase
启动
-
x启动ZooKeeper
-
启动HDFS
-
启动HBase
bin/start-hbase.sh
-
进入hbase shell
hbase shell
执行上述操作,执行list
命令,如果能显示以下内容,表示安装成功。
hbase(main):002:0> list
TABLE
0 row(s) in 0.1380 seconds
=> []
安装kylin-2.6.3-bin-hbase1x
## 解压apache-kylin-2.6.3-bin-hbase1x.tar.gz
tar -zxvf /export/softwares/apache-kylin-2.6.3-bin-hbase1x.tar.gz -C /export/servers/
增加kylin依赖组件的配置
(如果你怕修改其它软件的配置文件导致kylin无法使用,可以把ln -s 软链接换为cp 复制命令)
cd /export/servers/apache-kylin-2.6.3-bin-hbase1x/conf
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml hdfs-site.xml
ln -s $HADOOP_HOME/etc/hadoop/core-site.xml core-site.xml
ln -s $HBASE_HOME/conf/hbase-site.xml hbase-site.xml
cp $HIVE_HOME/conf/hive-site.xml hive-site.xml
ln -s $SPARK_HOME/conf/spark-defaults.conf spark-defaults.conf
配置kylin.sh
/export/servers/apache-kylin-2.6.3-bin-hbase1x/bin
vim kylin.sh
kylin.sh文件添加如下内容:
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0
export HBASE_HOME=/export/servers/hbase-1.1.1
export SPARK_HOME=/export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0
配置conf/kylin.properties
修改 kylin.properties 中HDFS的路径,然后上传到 Linux的 Kylin/conf文件夹中,覆盖原有的文件
初始化kylin在hdfs上的数据路径
hadoop fs -mkdir -p /apps/kylin
修改conf 目录下复制过来的 hive-site.xml
修改所有的节点名称为你自己的节点名称,可以在hosts文件中查看
启动集群
1、启动zookeeper
2、启动HDFS
3、启动YARN集群
4、启动HBase集群
5、启动 metastore
nohup hive --service metastore &
6、启动 hiverserver2
nohup hive --service hiveserver2 &
7、启动Yarn history server
mr-jobhistory-daemon.sh start historyserver
8、启动spark history server【可选】
cd /export/servers/spark/sbin/
./start-history-server.sh
7、启动kylin
cd /export/servers/apache-kylin-2.6.3-bin-hbase1x/bin/
./kylin.sh start
7、登录Kylin
http://hadoop01:7070/kylin
部分浏览器显示界面是这样的,无法兼容显示,所以更换浏览器,直到能够显示即可
更换浏览器,直到有兼容的浏览器可以显示如下界面
进行登录:
默认用户名 ADMIN
默认密码 KYLIN
用户名和密码都必须是大写
登录成功,显示如下页面,可以创建Model和Cube了
如果安装不成功,请检查kylin所需的组件是否安装配置正确。