CDH5.16 安裝 spark2.4

一,下載需要的包

SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
manifest.json
SPARK2_ON_YARN-2.4.0.cloudera2.jar

二,將包放入對應的路徑下

SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
manifest.json

以上三個包放入到/data/app/hadoop/opt/cloudera/parcel-repo(此路徑是根據集羣parcel目錄配置而定,主要看自己配置的路徑是什麼,默認路徑是/opt/cloudera/parcel-repo)需要將SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1這個包修改爲SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha,將後面的1去掉

放入後需要修改相應的所屬組及權限,我直接將權限修改爲755

將SPARK2_ON_YARN-2.4.0.cloudera2.jar放入到/data/app/hadoop/opt/cloudera/csd(根據自己的配置路徑去放),放入後記得修改所屬組及用戶

注意:這個路徑默認是/opt/cloudera/csd,一定要看好了再放,否則安裝服務時找不到要安裝的spark2,這塊我就沒有注意,所以被坑了,激活後一直找不到服務,如果想修改csd的路徑,可以在下面修改

三,安裝

點擊parcel,找到spark2,進行分配和激活,分配可能有些慢,激活成功後就可以去安裝服務了

遇到的問題:

激活後安裝時,不顯示spark2:是因爲集羣中配置的csd路徑是/opt/cloudera/csd,而我使用的路徑是/data/app/hadoop/opt/cloudera/csd,將jar包放入到了此路徑下,所以激活後無法安裝,只需要放入到對應的路徑或者修改csd的路徑即可,上面說了怎麼修改這個路徑

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章