- 下載kylin 安裝包
- 已部署的HBase, Hive, Yarn並啓動(參考博客CDH安裝)。
在主機上部署
- mkdir /usr/local/apps
- cd /usr/local/apps
- rz (把包傳到此目錄下)
- tar -zxvf apache(tab鍵)
- 建立軟連接ln -s apache-kylin-2.4.1-bin kylin
- 添加環境變量
vim /etc/profile
添加 export KYLIN_HOME=/usr/local/apps/kylin - 環境變量生效
source /etc/profile - 修改kylin.properties配置文件
cd /usr/local/apps/kylin/conf
vim kylin.properties
修改:
kylin.server.cluster-servers=192.168.80.11:7070
在下邊添加配置:
kylin.server.cluster-servers=192.168.80.11:7070
kylin.job.jar=/usr/local/apps/kylin/lib/kylin-job-2.4.1.jar
kylin.coprocessor.local.jar=/usr/local/apps/kylin/lib/kylin-coprocessor-2.4.1.jar
kylin.job.yarn.app.rest.check.status.url=http://192.168.195.11:8088/ws/v1/cluster/apps/${job_id}?anonymous=true - 修改權限
su hdfs(切換到hdfs用戶)
hadoop fs -chmod 777 / (修改權限) - su (切換到root)
- cd /usr/local/apps/kylin/bin
- ./check-env.sh
- hdfs dfs -ls /
可以看到這一行drwxr-xr-x - root supergroup 0 2019-04-16 22:12 /kylin - ./find-hbase-dependency.sh
- ./find-hive-dependency.sh
- 啓動kylin
cd /usr/local/apps/kylin
啓動bin/kylin.sh start
瀏覽器訪問http://192.168.80.11:7070/kylin
關閉bin/kylin.sh stop
測試kylin
- 運行 ${KYLIN_HOME}/bin/sample.sh;重啓 Kylin 服務器刷新緩存;
- 用默認的用戶名和密碼 ADMIN/KYLIN 登陸 Kylin 網站,選擇 project 下拉框(左上角)中的 learn_kylin 工程;
- 選擇名爲 kylin_sales_cube 的樣例 Cube,點擊 “Actions” -> “Build”,選擇一個在 2014-01-01 之後的日期(覆蓋所有的 10000 樣例記錄);
- 點擊 “Monitor” 標籤,查看 build 進度直至 100%;
- 點擊 “Insight” 標籤,執行 SQLs,例如:
select part_dt, sum(price) as total_sold, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt - 您可以驗證查詢結果且與 Hive 的響應時間進行比較;
Streaming 樣例 Cube 快速入門
7. Kylin 也提供了 streaming 樣例 Cube 腳本。該腳本將會創建 Kafka topic 且不斷的向生成的 topic 發送隨機 messages。
- 首先設置 KAFKA_HOME,然後啓動 Kylin。
- 運行 ${KYLIN_HOME}/bin/sample.sh,它會在 learn_kylin 工程中生成 DEFAULT.KYLIN_STREAMING_TABLE 表,kylin_streaming_model 模型和 kylin_streaming_cube Cube。
- 運行 ${KYLIN_HOME}/bin/sample-streaming.sh,它會在 localhost:9092 broker 中創建名爲 kylin_streaming_topic 的 Kafka Topic。它也會每秒隨機發送 100 條 messages 到 kylin_streaming_topic。
- 遵循標準 Cube build 過程,並觸發名爲 kylin_streaming_cube 的 Cube 的構建。
- 點擊 “Monitor” 標籤,查看 build 進度。直至至少有一個 job 達到 100%。
點擊 “Insight” 標籤,執行 SQLs,例如:
select count(*), HOUR_START from kylin_streaming_table group by HOUR_START - 驗證查詢結果。