kylin2.1.0 + CHD5.7环境搭建

由于cloudera本身并没有集成kylin的服务,也并没有kylin的 parcel包, 所以需要我们单独配置kylin的集群环境,kylin的本身配置并不难,但是它需要依赖 HDFS,hive,hbase组件,所以在部署kylin之前,确认其相关组件是否正常安装。

软件下载

http://mirrors.hust.edu.cn/apache/kylin/apache-kylin-2.1.0/apache-kylin-2.1.0-bin-cdh57.tar.gz

1. 解压

tar -zxvf apache-kylin-2.1.0-bin-cdh57.tar.gz /opt

2. 添加环境变量(我习惯于在profile.d中设置环境变量,而不是直接编辑、etc/profile,个人感觉这种方式比较明了)

cd /etc/profile.d
touch kylin.sh

在kylin.sh中编辑一下内容

KYLIN_HOME=/opt/apache-kylin-2.1.0-bin-cdh57
HCAT_HOME=/opt/cloudera/parcels/CDH-5.11.0-1.cdh5.11.0.p0.34/lib/hive-hcatalog
PATH=$KYLIN_HOME/bin:\$PATH    #把 \ 去掉
export PATH KYLIN_HOME HCAT_HOME

使环境变量生效

source /etc/profile

3. 修改kylin的配置信息

cd /opt/apache-kylin-2.1.0-bin-cdh57/conf
vim kylin.properties

修改其中的配置

kylin.job.jar=/opt/apache-kylin-2.1.0-bin-cdh57/lib/kylin-job-2.1.0.jar
kylin.job.yarn.app.rest.check.status.url=http://10.20.20.4:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=10.20.20.4:7070,10.20.20.5:7070,10.20.20.6:7070,10.20.20.7:7070
kylin.metadata.url=kylin_metadata@hbase
kylin.server.model=query
kylin.hbase.cluster.fs=hdfs://10.20.20.4:8020

注意几点:

  • http://10.20.20.4:8088 是hadoop job的URL地址
  • kylin.rest.servers 指定的是kylin集群的地址,7070是默认的端口
  • 如果是集群模式,则在集群中只能指定一个主机的kylin.server.model = all(job), 其他的主机必须是 query

4. 环境检查

cd ../bin
./check-env.sh

Retrieving hadoop conf dir…
KYLIN_HOME is set to /opt/apache-kylin-2.1.0-bin-cdh57

kylin会自动在hdfs上创建kylin的目录

5. 启动kylin

bin/kylin.sh start

6. 登录kylin

http:// ip :7070/kylin  # ip可以是集群中任意一个主机的ip地址,因为集群共享一个元数据,所以不影响

默认账号:ADMIN, 密码:KYLIN
主界面如下

7.测试官方例子

ls /opt/apache-kylin-2.1.0-bin-cdh57/bin


运行这个脚本文件

./sample.sh

Sample cube is created successfully in project ‘learn_kylin’.
看到这句话表明,例子已经构建成功,工程名为learn_kylin
此时,再去kylin主界面上查看

有图中标记的model和cube即可,其他的是我自己用的。如果什么也没有出现,则按一下操作

即可完成cube和model的创建。
然后,还需要构建cube,前面做的只是定义model和cube结构,build cube才是真正的实例化。

提交build成功后,可在monitor中查看进度,build的时候和数据量,cube的维度等有关。可点击刷新按钮查看进度,

右边可现实构建的具体步骤

成功,此时,可对cube进行sql查询。
点击insight,在输入框内输入sql语句
select * from kylin_sales
提交。

完成!


在kylin部署的过程中,会遇到很多莫名的问题,现在具体的错误,我当时没记录,从以下几个方面说明以下。
1. 如果遇到用户权限问题,多半是当前没用没有操作HDFS的权限,我们先查看HDFS上kylin目录的拥有者和组

可以,看到kylin的用户是hdfs,是超级管理员,就算是root用户也没有hdfs的权限。
解决办法:
方法一,所以在进行sample.sh的过程中,先登录到hdfs用户下,再进行操作
su hdfs
方法二, 把kylin目录的权限改为777
hdfs fs -chmod R 777 /kylin
2. 遇到报错时,先去查看日志文件,

cd /opt/apache-kylin-2.1.0-bin-cdh57/log
cat kylin.log

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章