一,下載需要的包
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
manifest.json
SPARK2_ON_YARN-2.4.0.cloudera2.jar
二,將包放入對應的路徑下
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
manifest.json
以上三個包放入到/data/app/hadoop/opt/cloudera/parcel-repo(此路徑是根據集羣parcel目錄配置而定,主要看自己配置的路徑是什麼,默認路徑是/opt/cloudera/parcel-repo)需要將SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1這個包修改爲SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha,將後面的1去掉
放入後需要修改相應的所屬組及權限,我直接將權限修改爲755
將SPARK2_ON_YARN-2.4.0.cloudera2.jar放入到/data/app/hadoop/opt/cloudera/csd(根據自己的配置路徑去放),放入後記得修改所屬組及用戶
注意:這個路徑默認是/opt/cloudera/csd,一定要看好了再放,否則安裝服務時找不到要安裝的spark2,這塊我就沒有注意,所以被坑了,激活後一直找不到服務,如果想修改csd的路徑,可以在下面修改
三,安裝
點擊parcel,找到spark2,進行分配和激活,分配可能有些慢,激活成功後就可以去安裝服務了
遇到的問題:
激活後安裝時,不顯示spark2:是因爲集羣中配置的csd路徑是/opt/cloudera/csd,而我使用的路徑是/data/app/hadoop/opt/cloudera/csd,將jar包放入到了此路徑下,所以激活後無法安裝,只需要放入到對應的路徑或者修改csd的路徑即可,上面說了怎麼修改這個路徑