由於Kylin本身只是一個Server,所以安裝部署還是比較簡單的。但是不得不說Kylin對各個協作系統的版本要求還是比較高的。最新官網kylin v2.5版本的要求各個軟件版本爲
- OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+(本文用的是:CentOS 7)
- Hadoop: 2.7+, 3.1+(本文:2.8.5)
- Hive: 0.13 - 1.2.1+ (本文:2.2.0)
- HBase: 1.1+, 2.0 (本文:1.3.1)
- JDK: 1.8+
個人建議,在安裝麒麟之前,把Hadoop、hive、Hbase、Zookeeper挨個啓動一下,並輸入測試用例,保證每個子系統單元都能夠正常工作的情況下,開始安裝kylin,否則遇到的錯誤千奇百怪。
一、安裝部署
1、老規矩,首先使用WinSCP工具,將下載好的kylin二進制包apache-kylin-2.5.0-bin-hbase1x.tar.gz,上傳到linux中
2、解壓kylin壓縮包,tar -zvxf apache-kylin-2.5.0-bin-hbase1x.tar.gz。爲了後期方便訪問Flume文件夾 mv apache-kylin-2.1.0-bin-hbase1x kylin(即相當於創建了kylin文件夾,並將 apache-kylin-2.5.0-bin-hbase1x文件夾的內容全部移動到kylin文件夾中)
3、在環境變量中配置kylin
vi /etc/profile
###添加以下內容###
export KYLIN_HOME=/usr/kylin
export PATH=$KYLIN_HOME/bin:$PATH
source /etc/profile
4、check-env.sh。檢查環境是否正常,因爲kylin要使用hive表,hdfs,hbase表,並且可以進行submit job。檢查環境時,會在hdfs上創建kylin的文件夾等。如果一切配置正常,會只輸出kylin的環境位置,無其他報錯信息,如下圖:
5、啓動kylin。kylin.sh start 進程啓動後會輸出日誌,同時在$KYLIN_HOME/logs也會打出日誌。
執行kylin start命令時,kylin首先會確認hadoop、hbase、hive、kafka、spark的配置是否成功,有以下提示信息,這個過程相對來說比較長一些。
成功啓動之後,會提示下圖相關信息:
6、UI查看。啓動成功之後,訪問地址:http://master:7070/kylin/login,默認用戶名爲ADMIN,密碼爲KYLIN。看到下面的頁面,就代表安裝部署成功了。
二、執行樣例sample.sh
回到kylin的bin目錄下執行sample.sh,成功執行後會有如下提示:
2、根據日誌提示信息,重新加載元數據,使kylin能讀取到創建好的project “learn_kylin”.跳轉至system ,點擊reload metadata
3、buil cube
4、此時cube正在創建,可以在Monitor中監控到整個cube構造的過程以及可以查看到每一步構建的過程和日誌。
等到progress到達100%時,就可以進行查詢了。
5、在Insight裏面執行查詢語句: select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt
效果如下:可以看到總共有730條結果
6、此外,kylin還提供了一些簡單的可視化,如下:
至此,演示完成。
最後說一句,一定要把環境配好,要不然走的彎路足夠讓你發瘋。