kylin依賴 -- CDH5.15安裝Spark2.3服務

前提

在部署kylin時,提示需要spark2依賴,
kylin的依賴

1、到CDH官網下載對應的spark的parcel包

http://archive.cloudera.com/spark2/csd/
在這裏插入圖片描述
注意下載對應的版本,CentOS7,下載el7的包。

2、開始安裝

2.1.安裝前可以停掉集羣和Cloudera Management Service,也可以不停,但是待會還是要停止重啓的。
2.2.上傳CSD包到每臺服務器上的/opt/cloudera/csd目錄,並且修改文件的用戶和組。注意如果本目錄下有其他的jar包,把刪掉或者移到其他目錄----cdn包放在/opt/cloudera/csd目錄才能被識別

[注意給jra包分組:]
chown -R cloudera-scm:cloudera-scm /opt/cloudera/
cd /opt/cloudera/csd
chgrp cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera4.jar
chown cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera4.jar
#chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera3.jar  
#chmod 644 SPARK2_ON_YARN-2.1.0.cloudera3.jar  修改jar包的執行權限

2.3.上傳
manifest.json
SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel
SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel.sha1
上傳3個文件到主節點master的/opt/cloudera/parcel-repo目錄下,並且重新命名

mv SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel.sha1 SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel.sha

如果有其他的安裝包,不用刪除 ,但是如果本目錄下有其他的重名文件比如manifest.json文件,把它重命名備份掉。
由於我前後安裝了兩個版本的,所以其他安裝包全部刪除了。

2.4.如果剛剛沒有停掉CM和集羣,現在將他們重啓。
#重啓主節點cloudera-scm-server

/opt/cm-5.15.0/etc/init.d/cloudera-scm-server restart

#重啓所有節點cloudera-scm-agent

/opt/cm-5.15.0/etc/init.d/cloudera-scm-agent restart

實際處理的,在CM進行的重啓,不是在命令行重啓。

3、分配並激活parcel

進入到主機->Parcel
在這裏插入圖片描述
左側可以查看到我們的SPARK2
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

4、添加spark2服務

進入到進羣頁面集羣->操作->添加服務
在這裏插入圖片描述
在這裏插入圖片描述
如果未在服務中找到spark2,則有可能是安裝包的版本導致的問題,由於我是分別在三臺機器上操作,很有可能導致版本問題,再刪掉重複以上步驟,即可。

剩下的就是按照正常配置就行
在這裏插入圖片描述

5、spark2.3安裝成功

如果沒有將jdk1.7修改成jdk1.8則上述步驟中安裝時會提示,jdk的問題。
安裝成功後:
在cloudera manager中能看到spark2安裝成功
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章