前提
在部署kylin時,提示需要spark2依賴,
1、到CDH官網下載對應的spark的parcel包
http://archive.cloudera.com/spark2/csd/
注意下載對應的版本,CentOS7,下載el7的包。
2、開始安裝
2.1.安裝前可以停掉集羣和Cloudera Management Service,也可以不停,但是待會還是要停止重啓的。
2.2.上傳CSD包到每臺服務器上的/opt/cloudera/csd目錄,並且修改文件的用戶和組。注意如果本目錄下有其他的jar包,把刪掉或者移到其他目錄----cdn包放在/opt/cloudera/csd目錄才能被識別
[注意給jra包分組:]
chown -R cloudera-scm:cloudera-scm /opt/cloudera/
cd /opt/cloudera/csd
chgrp cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera4.jar
chown cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera4.jar
#chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera3.jar
#chmod 644 SPARK2_ON_YARN-2.1.0.cloudera3.jar 修改jar包的執行權限
2.3.上傳
manifest.json
SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel
SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel.sha1
上傳3個文件到主節點master的/opt/cloudera/parcel-repo目錄下,並且重新命名
mv SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel.sha1 SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel.sha
如果有其他的安裝包,不用刪除 ,但是如果本目錄下有其他的重名文件比如manifest.json文件,把它重命名備份掉。
由於我前後安裝了兩個版本的,所以其他安裝包全部刪除了。
2.4.如果剛剛沒有停掉CM和集羣,現在將他們重啓。
#重啓主節點cloudera-scm-server
/opt/cm-5.15.0/etc/init.d/cloudera-scm-server restart
#重啓所有節點cloudera-scm-agent
/opt/cm-5.15.0/etc/init.d/cloudera-scm-agent restart
實際處理的,在CM進行的重啓,不是在命令行重啓。
3、分配並激活parcel
進入到主機->Parcel
左側可以查看到我們的SPARK2
4、添加spark2服務
進入到進羣頁面集羣->操作->添加服務
如果未在服務中找到spark2,則有可能是安裝包的版本導致的問題,由於我是分別在三臺機器上操作,很有可能導致版本問題,再刪掉重複以上步驟,即可。
剩下的就是按照正常配置就行
5、spark2.3安裝成功
如果沒有將jdk1.7修改成jdk1.8則上述步驟中安裝時會提示,jdk的問題。
安裝成功後:
在cloudera manager中能看到spark2安裝成功