Kylin大数据分析神兽

apache版本安装

安装 hbase-1.2.11-bin.tar.gz

安装 hive-2.1.0

安装 hadoop-2.6.0-cdh

安装 zookeeper-3.4.12

安装 apache-kylin-2.0.0-bin-hbase1x.tar.gz    注意：cdh环境请下载其他版本

配置下环境变量直接启动即可

 

mysql远程访问

GRANT ALL PRIVILEGES ON hive.* TO 'root'@'%' IDENTIFIED BY '访问密码';
flush privileges;

https://blog.csdn.net/qq_27078095/article/details/56865443 hadoop编译snappy

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0/bk_installing_manually_book/content/rpm-chap1-11.html配置yarn文档

=================================================================================

 

企业版 kyligence 安装

官网：https://kyligence.io/zh/

1、安装条件CDH，或者hadoop2.6+hbase1.2+hive2.1或者不用hbase

用mysql

1.在MySQL数据库中新建名为kylin的数据库
2.在Kyligence	Enterprise安装目录下的$KYLIN_HOME/conf/kylin.properties
配置文件中，配置kylin.metadata.url={metadata_name}@jdbc，
{metadata_name}需要替换为您需要的元数据表名，如	kylin_default_instance@jdbc	。
如果该表已存在，则会使用现有的表；如果不存在，则会自动创建该表。
具体示例如下：
kylin.metadata.url=kylin_default_instance@jdbc,url=jdbc:mysql://localhost:3306/kylin,
username=root,password=,maxActi ve=20,maxIdle=20。
如需使用MySQLCluster支持负载均衡时，需要在连接字符串中加入该参数，具体示例如下：
kylin.metadata.url=kylin_default_instance@jdbc,url=jdbc:mysql:loadbalance://host1:port1,
host2:port2/kylin,username=root,password=root,maxActive=20,maxIdle=20	
maxActive：最大数据库连接数，默认值为5	； maxIdle：最大等待中的连接数量，默认值为	5； 
maxWait：最大等待连接毫秒数，默认值为	1000	； 
3.由于元数据不依赖于HBase，所以需要在配置文件	$KYLIN_HOME/conf/kylin.properties中
添加zookeeper的连接项kylin.env.zookeeper-connect-string=host:port	，如kylin.env.zookeeper-connect-string=localhost:2181。
4.如果您需要对JDBC的密码进行加密，请在$KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/lib目录下运行如下命令：
java	-classpath	kap.jar:spring-beans-4.3.10.RELEASE.jar:spring-core-4.3.10.RELEASE.jar:commons-codec-1.7.jar	org.apache.kylin.rest.security.PasswordPlaceholderConfigurer	AES	<your_password>

2、因为独立部署，需要用到hive2的客户端beeline

修改配置文件/opt/kylin/conf/kylin.properties

可以看到关闭了snappy压缩

kylin.source.hive.client=beeline 
kylin.source.hive.beeline-params=-n	root	-u	'jdbc:hive2://host:port'	--hiveconf	hive.exec.compress.output=false	--hive conf	dfs.replication=2		--hiveconf	hive.security.authorization.sqlstd.confwhitelist.append='mapreduce.job.*|dfs.*'

因为我们环境的hadoop没有snappy压缩，所以需要修改

kylin_hive_conf.xml 、kylin_job_conf.xml 、 kylin_job_conf_inmem.xml 这几个文件中的compress，改为false

3、在hdfs上构建2个目录，/kylin  和  /user/hadoop（用户名）

4、配置kylin的环境变量

5、check-env.sh检查环境 ， ok ，启动即可 kylin.sh start

 

构建cube的时候可能构建不动，有可能是map reduce的内存小，修改kylin_job的内存，目前是修改为的8G。

注意：hive客户端我是从其他节点copy过来的，因为我们集群有spark，所以hive下有spark的jar，和kylin自带的sparkjar包冲突，删除即可。

================================================================================

kyligence卸载

1、stop kylin，需要备份的备份，metastore.sh backup

2、hdfs上删除/kylin 和 /user/hadoop

3、如果是配置的hbase作为元数据存储，就disable_all命令 禁用“kylin_metadata.*”  和drop_all “kylin_metadata.*”

4、去掉kylin_home，生效环境变量

 

 

=============================使用笔记=================================