Kylin大數據分析神獸

apache版本安裝

安裝 hbase-1.2.11-bin.tar.gz

安裝 hive-2.1.0

安裝 hadoop-2.6.0-cdh

安裝 zookeeper-3.4.12

安裝 apache-kylin-2.0.0-bin-hbase1x.tar.gz    注意：cdh環境請下載其他版本

配置下環境變量直接啓動即可

 

mysql遠程訪問

GRANT ALL PRIVILEGES ON hive.* TO 'root'@'%' IDENTIFIED BY '訪問密碼';
flush privileges;

https://blog.csdn.net/qq_27078095/article/details/56865443 hadoop編譯snappy

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0/bk_installing_manually_book/content/rpm-chap1-11.html配置yarn文檔

=================================================================================

 

企業版 kyligence 安裝

官網：https://kyligence.io/zh/

1、安裝條件CDH，或者hadoop2.6+hbase1.2+hive2.1或者不用hbase

用mysql

1.在MySQL數據庫中新建名爲kylin的數據庫
2.在Kyligence	Enterprise安裝目錄下的$KYLIN_HOME/conf/kylin.properties
配置文件中，配置kylin.metadata.url={metadata_name}@jdbc，
{metadata_name}需要替換爲您需要的元數據表名，如	kylin_default_instance@jdbc	。
如果該表已存在，則會使用現有的表；如果不存在，則會自動創建該表。
具體示例如下：
kylin.metadata.url=kylin_default_instance@jdbc,url=jdbc:mysql://localhost:3306/kylin,
username=root,password=,maxActi ve=20,maxIdle=20。
如需使用MySQLCluster支持負載均衡時，需要在連接字符串中加入該參數，具體示例如下：
kylin.metadata.url=kylin_default_instance@jdbc,url=jdbc:mysql:loadbalance://host1:port1,
host2:port2/kylin,username=root,password=root,maxActive=20,maxIdle=20	
maxActive：最大數據庫連接數，默認值爲5	； maxIdle：最大等待中的連接數量，默認值爲	5； 
maxWait：最大等待連接毫秒數，默認值爲	1000	； 
3.由於元數據不依賴於HBase，所以需要在配置文件	$KYLIN_HOME/conf/kylin.properties中
添加zookeeper的連接項kylin.env.zookeeper-connect-string=host:port	，如kylin.env.zookeeper-connect-string=localhost:2181。
4.如果您需要對JDBC的密碼進行加密，請在$KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/lib目錄下運行如下命令：
java	-classpath	kap.jar:spring-beans-4.3.10.RELEASE.jar:spring-core-4.3.10.RELEASE.jar:commons-codec-1.7.jar	org.apache.kylin.rest.security.PasswordPlaceholderConfigurer	AES	<your_password>

2、因爲獨立部署，需要用到hive2的客戶端beeline

修改配置文件/opt/kylin/conf/kylin.properties

可以看到關閉了snappy壓縮

kylin.source.hive.client=beeline 
kylin.source.hive.beeline-params=-n	root	-u	'jdbc:hive2://host:port'	--hiveconf	hive.exec.compress.output=false	--hive conf	dfs.replication=2		--hiveconf	hive.security.authorization.sqlstd.confwhitelist.append='mapreduce.job.*|dfs.*'

因爲我們環境的hadoop沒有snappy壓縮，所以需要修改

kylin_hive_conf.xml 、kylin_job_conf.xml 、 kylin_job_conf_inmem.xml 這幾個文件中的compress，改爲false

3、在hdfs上構建2個目錄，/kylin  和  /user/hadoop（用戶名）

4、配置kylin的環境變量

5、check-env.sh檢查環境 ， ok ，啓動即可 kylin.sh start

 

構建cube的時候可能構建不動，有可能是map reduce的內存小，修改kylin_job的內存，目前是修改爲的8G。

注意：hive客戶端我是從其他節點copy過來的，因爲我們集羣有spark，所以hive下有spark的jar，和kylin自帶的sparkjar包衝突，刪除即可。

================================================================================

kyligence卸載

1、stop kylin，需要備份的備份，metastore.sh backup

2、hdfs上刪除/kylin 和 /user/hadoop

3、如果是配置的hbase作爲元數據存儲，就disable_all命令 禁用“kylin_metadata.*”  和drop_all “kylin_metadata.*”

4、去掉kylin_home，生效環境變量

 

 

=============================使用筆記=================================