Apache kylin 入門學習(2)安裝與簡單測試

  1. 下載kylin 安裝包
  2. 已部署的HBase, Hive, Yarn並啓動(參考博客CDH安裝)。

在主機上部署

  1. mkdir /usr/local/apps
  2. cd /usr/local/apps
  3. rz (把包傳到此目錄下)
  4. tar -zxvf apache(tab鍵)
  5. 建立軟連接ln -s apache-kylin-2.4.1-bin kylin
  6. 添加環境變量
    vim /etc/profile
    添加 export KYLIN_HOME=/usr/local/apps/kylin
  7. 環境變量生效
    source /etc/profile
  8. 修改kylin.properties配置文件
    cd /usr/local/apps/kylin/conf
    vim kylin.properties
    修改:
    kylin.server.cluster-servers=192.168.80.11:7070
    在下邊添加配置:
    kylin.server.cluster-servers=192.168.80.11:7070
    kylin.job.jar=/usr/local/apps/kylin/lib/kylin-job-2.4.1.jar
    kylin.coprocessor.local.jar=/usr/local/apps/kylin/lib/kylin-coprocessor-2.4.1.jar
    kylin.job.yarn.app.rest.check.status.url=http://192.168.195.11:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
  9. 修改權限
    su hdfs(切換到hdfs用戶)
    hadoop fs -chmod 777 / (修改權限)
  10. su (切換到root)
  11. cd /usr/local/apps/kylin/bin
  12. ./check-env.sh
  13. hdfs dfs -ls /
    可以看到這一行drwxr-xr-x - root supergroup 0 2019-04-16 22:12 /kylin
  14. ./find-hbase-dependency.sh
  15. ./find-hive-dependency.sh
  16. 啓動kylin
    cd /usr/local/apps/kylin
    啓動bin/kylin.sh start
    瀏覽器訪問http://192.168.80.11:7070/kylin
    關閉bin/kylin.sh stop

測試kylin

參考內容_

  1. 運行 ${KYLIN_HOME}/bin/sample.sh;重啓 Kylin 服務器刷新緩存;
  2. 用默認的用戶名和密碼 ADMIN/KYLIN 登陸 Kylin 網站,選擇 project 下拉框(左上角)中的 learn_kylin 工程;
  3. 選擇名爲 kylin_sales_cube 的樣例 Cube,點擊 “Actions” -> “Build”,選擇一個在 2014-01-01 之後的日期(覆蓋所有的 10000 樣例記錄);
  4. 點擊 “Monitor” 標籤,查看 build 進度直至 100%;
  5. 點擊 “Insight” 標籤,執行 SQLs,例如:
    select part_dt, sum(price) as total_sold, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt
  6. 您可以驗證查詢結果且與 Hive 的響應時間進行比較;

Streaming 樣例 Cube 快速入門
7. Kylin 也提供了 streaming 樣例 Cube 腳本。該腳本將會創建 Kafka topic 且不斷的向生成的 topic 發送隨機 messages。

  1. 首先設置 KAFKA_HOME,然後啓動 Kylin。
  2. 運行 ${KYLIN_HOME}/bin/sample.sh,它會在 learn_kylin 工程中生成 DEFAULT.KYLIN_STREAMING_TABLE 表,kylin_streaming_model 模型和 kylin_streaming_cube Cube。
  3. 運行 ${KYLIN_HOME}/bin/sample-streaming.sh,它會在 localhost:9092 broker 中創建名爲 kylin_streaming_topic 的 Kafka Topic。它也會每秒隨機發送 100 條 messages 到 kylin_streaming_topic。
  4. 遵循標準 Cube build 過程,並觸發名爲 kylin_streaming_cube 的 Cube 的構建。
  5. 點擊 “Monitor” 標籤,查看 build 進度。直至至少有一個 job 達到 100%。
    點擊 “Insight” 標籤,執行 SQLs,例如:
    select count(*), HOUR_START from kylin_streaming_table group by HOUR_START
  6. 驗證查詢結果。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章