CDH5.16 安装 spark2.4

一,下载需要的包

SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
manifest.json
SPARK2_ON_YARN-2.4.0.cloudera2.jar

二,将包放入对应的路径下

SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
manifest.json

以上三个包放入到/data/app/hadoop/opt/cloudera/parcel-repo(此路径是根据集群parcel目录配置而定,主要看自己配置的路径是什么,默认路径是/opt/cloudera/parcel-repo)需要将SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1这个包修改为SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha,将后面的1去掉

放入后需要修改相应的所属组及权限,我直接将权限修改为755

将SPARK2_ON_YARN-2.4.0.cloudera2.jar放入到/data/app/hadoop/opt/cloudera/csd(根据自己的配置路径去放),放入后记得修改所属组及用户

注意:这个路径默认是/opt/cloudera/csd,一定要看好了再放,否则安装服务时找不到要安装的spark2,这块我就没有注意,所以被坑了,激活后一直找不到服务,如果想修改csd的路径,可以在下面修改

三,安装

点击parcel,找到spark2,进行分配和激活,分配可能有些慢,激活成功后就可以去安装服务了

遇到的问题:

激活后安装时,不显示spark2:是因为集群中配置的csd路径是/opt/cloudera/csd,而我使用的路径是/data/app/hadoop/opt/cloudera/csd,将jar包放入到了此路径下,所以激活后无法安装,只需要放入到对应的路径或者修改csd的路径即可,上面说了怎么修改这个路径

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章