kylin2.1.0 + CHD5.7環境搭建

由於cloudera本身並沒有集成kylin的服務,也並沒有kylin的 parcel包, 所以需要我們單獨配置kylin的集羣環境,kylin的本身配置並不難,但是它需要依賴 HDFS,hive,hbase組件,所以在部署kylin之前,確認其相關組件是否正常安裝。

軟件下載

http://mirrors.hust.edu.cn/apache/kylin/apache-kylin-2.1.0/apache-kylin-2.1.0-bin-cdh57.tar.gz

1. 解壓

tar -zxvf apache-kylin-2.1.0-bin-cdh57.tar.gz /opt

2. 添加環境變量(我習慣於在profile.d中設置環境變量,而不是直接編輯、etc/profile,個人感覺這種方式比較明瞭)

cd /etc/profile.d
touch kylin.sh

在kylin.sh中編輯一下內容

KYLIN_HOME=/opt/apache-kylin-2.1.0-bin-cdh57
HCAT_HOME=/opt/cloudera/parcels/CDH-5.11.0-1.cdh5.11.0.p0.34/lib/hive-hcatalog
PATH=$KYLIN_HOME/bin:\$PATH    #把 \ 去掉
export PATH KYLIN_HOME HCAT_HOME

使環境變量生效

source /etc/profile

3. 修改kylin的配置信息

cd /opt/apache-kylin-2.1.0-bin-cdh57/conf
vim kylin.properties

修改其中的配置

kylin.job.jar=/opt/apache-kylin-2.1.0-bin-cdh57/lib/kylin-job-2.1.0.jar
kylin.job.yarn.app.rest.check.status.url=http://10.20.20.4:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=10.20.20.4:7070,10.20.20.5:7070,10.20.20.6:7070,10.20.20.7:7070
kylin.metadata.url=kylin_metadata@hbase
kylin.server.model=query
kylin.hbase.cluster.fs=hdfs://10.20.20.4:8020

注意幾點:

  • http://10.20.20.4:8088 是hadoop job的URL地址
  • kylin.rest.servers 指定的是kylin集羣的地址,7070是默認的端口
  • 如果是集羣模式,則在集羣中只能指定一個主機的kylin.server.model = all(job), 其他的主機必須是 query

4. 環境檢查

cd ../bin
./check-env.sh

Retrieving hadoop conf dir…
KYLIN_HOME is set to /opt/apache-kylin-2.1.0-bin-cdh57

kylin會自動在hdfs上創建kylin的目錄

5. 啓動kylin

bin/kylin.sh start

6. 登錄kylin

http:// ip :7070/kylin  # ip可以是集羣中任意一個主機的ip地址,因爲集羣共享一個元數據,所以不影響

默認賬號:ADMIN, 密碼:KYLIN
主界面如下

7.測試官方例子

ls /opt/apache-kylin-2.1.0-bin-cdh57/bin


運行這個腳本文件

./sample.sh

Sample cube is created successfully in project ‘learn_kylin’.
看到這句話表明,例子已經構建成功,工程名爲learn_kylin
此時,再去kylin主界面上查看

有圖中標記的model和cube即可,其他的是我自己用的。如果什麼也沒有出現,則按一下操作

即可完成cube和model的創建。
然後,還需要構建cube,前面做的只是定義model和cube結構,build cube纔是真正的實例化。

提交build成功後,可在monitor中查看進度,build的時候和數據量,cube的維度等有關。可點擊刷新按鈕查看進度,

右邊可現實構建的具體步驟

成功,此時,可對cube進行sql查詢。
點擊insight,在輸入框內輸入sql語句
select * from kylin_sales
提交。

完成!


在kylin部署的過程中,會遇到很多莫名的問題,現在具體的錯誤,我當時沒記錄,從以下幾個方面說明以下。
1. 如果遇到用戶權限問題,多半是當前沒用沒有操作HDFS的權限,我們先查看HDFS上kylin目錄的擁有者和組

可以,看到kylin的用戶是hdfs,是超級管理員,就算是root用戶也沒有hdfs的權限。
解決辦法:
方法一,所以在進行sample.sh的過程中,先登錄到hdfs用戶下,再進行操作
su hdfs
方法二, 把kylin目錄的權限改爲777
hdfs fs -chmod R 777 /kylin
2. 遇到報錯時,先去查看日誌文件,

cd /opt/apache-kylin-2.1.0-bin-cdh57/log
cat kylin.log

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章