文章目錄
0.環境準備
| 組件 | 版本 |
|---|---|
| Ambari | 2.7.3 |
| HDP | 3.0.1.0-187 |
| Kylin | apache-kylin-3.0.1-bin-hadoop3.tar.gz |
Apache Ambari-2.7.3+Centos7離線安裝
Kylin下載：https://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-3.0.1/apache-kylin-3.0.1-bin-hadoop3.tar.gz
https://kylin.apache.org/download/
集成腳本參考：https://github.com/841809077/ambari-Kylin
1.Kylin安裝包製作
1.1 解壓
解壓
tar -zxvf apache-kylin-3.0.1-bin-hadoop3.tar.gz
cd apache-kylin-3.0.1-bin-hadoop3
1.2 配置spark客戶端
kylin啓動時會對SPARK環境進行檢查，創建spark軟連接，Kylin安裝節點必須有spark客戶端
ln -s /usr/hdp/current/spark2-client/ spark
1.3 修改find-hive-dependency.sh腳本
vim bin/find-hive-dependency.sh
修改34行
去掉${hive_conf_properties}
34 #hive_env=`${beeline_shell} ${hive_conf_properties} ${beeline_params} --outputformat=dsv -e "set;" 2>&1 | grep --text 'env:CLASSPATH' `
35 hive_env=`${beeline_shell} ${beeline_params} --outputformat=dsv -e "set;" 2>&1 | grep --text 'env:CLASSPATH' `
1.4 拷貝jar包
cp /usr/lib/ambari-server/commons-configuration-1.6.jar tomcat/lib/
cp /usr/lib/ambari-server/commons-collections-3.2.2.jar tomcat/lib/
1.5 修改service.xml
vim tomcat/conf/server.xml
註釋掉
85 <!--
86 <Connector port="7443" protocol="org.apache.coyote.http11.Http11Protocol"
87 maxThreads="150" SSLEnabled="true" scheme="https" secure="true"
88 keystoreFile="conf/.keystore" keystorePass="changeit"
89 clientAuth="false" sslProtocol="TLS" />
90 -->
1.6 修改kylin_hive_conf.xml
vim conf/kylin_hive_conf.xml
註釋掉：dfs.replication屬性，mapreduce.job.split.metainfo.maxsize屬性
......
18 <!--
19 <property>
20 <name>dfs.replication</name>
21 <value>2</value>
22 <description>Block replication</description>
23 </property>
24 -->
......
77 <!--
78 <property>
79 <name>mapreduce.job.split.metainfo.maxsize</name>
80 <value>-1</value>
81 <description>The maximum permissible size of the split metainfo file.
82 The JobTracker won't attempt to read split metainfo files bigger than
83 the configured value. No limits if set to -1.
84 </description>
85 </property>
86 -->
......
1.7 打包
tar -zcvf kylin-3.0.1.tar.gz ./
2.集成
啓動httpd服務
mkdir /var/www/html/kylin
mkdir /var/www/html/nginx
cp kylin-3.0.1.tar.gz /var/www/html/kylin/
cp nginx-1.8.1.tar.gz /var/www/html/nginx/
cp hdp-3.0-kylin-2.6.0.zip /var/lib/ambari-server/resources/stacks/HDP/3.0/services/
cd /var/lib/ambari-server/resources/stacks/HDP/3.0/services
unzip hdp-3.0-kylin-2.6.0.zip
cd /var/lib/ambari-server/resources/stacks/HDP/3.0/services/KYLIN/package/scripts/
修改params.py
修改前：kylin_download = os.path.join(‘http://’, ambari_server_hostname, ‘/kylin/kylin-2.6.0.tar.gz’)
修改後：kylin_download = ‘http://’ + ambari_server_hostname + ‘/kylin/kylin-3.0.1.tar.gz’
修改前：nginx_download = os.path.join(‘http://’, ambari_server_hostname, ‘/nginx/nginx-1.8.1.tar.gz’)
修改後：nginx_download = ‘http://’ + ambari_server_hostname + ‘/nginx/nginx-1.8.1.tar.gz’
修改kylin_master.py、kylin_query.py 主要修改版本號
Execute(‘wget {0} -O kylin-3.0.1.tar.gz’.format(params.kylin_download))
Execute(‘tar -zxvf kylin-3.0.1.tar.gz -C {0}’.format(params.kylin_install_dir))
Execute(‘rm -rf kylin-3.0.1.tar.gz’)
cd /var/lib/ambari-server/resources/stacks/HDP/3.0/services/KYLIN
修改metainfo.xml
<?xml version="1.0"?>
<metainfo>
<schemaVersion>2.0</schemaVersion>
<services>
<service>
<name>KYLIN</name>
<displayName>Kylin</displayName>
<comment>Kylin是一款開源的分佈式數據分析工具，基於hadoop之上的sql查詢接口。</comment>
<version>3.0.1</version>
......
3.啓動
3.1 重啓ambari
主節點
ambari-server restart
所有節點，清除緩存
rm -rf /var/lib/ambari-agent/cache/*
ambari-agent restart
3.2 安裝Kylin
Ambari – 添加服務 – 選擇Kylin – 一路默認
快速鏈接，通過Nginx訪問
4.測試
通過Ranger組件，授權 hdfs用戶 擁有hbase的權限
後臺登錄 kylin nginx 安裝節點
執行下面命令，初始化數據
[root@worker kylin]# su hdfs
[hdfs@worker kylin]$ /usr/hdp/3.0.1.0-187/kylin/bin/sample.sh
執行完畢之後，登錄Kylin頁面，可以查看到存在兩個Cubes
Action – Build
選擇 Monitor 進行查看進度
參考：
Apache Ambari-2.7.3+Centos7離線安裝
Ambari集成Apache Kylin服務
Kylin官網
hadoop 3.1.1集羣中安裝kylin 3.0.0啓用報錯