CDH5.14安装spark2

cdh5.14 默认自带的spark版本是1.6的,如果需要使用spark2,那么需要另外安装。官网上给出了CDH版本和spark2版本对应的说明以及离线安装包的地址,在安装时需要安装自己集群版本下载相应的spark2:
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html
在这里插入图片描述

1.下载安装包

下载4个文件

manifest.json
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha1
SPARK2_ON_YARN-2.4.0.cloudera2.jar

2. 上传安装包到指定目录

2.1、SPARK2_ON_YARN-2.4.0.cloudera2.jar 上传到/opt/cloudera/csd
2.2、另外三个文件上传到/opt/cloudera/parcel-repo,注意,可能manifest.json已存在,先将原来的重命名后缀加.bak
[root@cdh01 cloudera]# cd /opt/cloudera/csd
[root@cdh01 csd]# cp /root/soft/cdh5.14/spark2.4/SPARK2_ON_YARN-2.4.0.cloudera2.jar ./
[root@cdh01 cloudera]# cd /opt/cloudera/parcel-repo
[root@cdh01 parcel-repo]# mv manifest.json manifest.json.bak
[root@cdh01 parcel-repo]# cp /root/soft/cdh5.14/spark2.4/SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel ./
[root@cdh01 parcel-repo]# cp /root/soft/cdh5.14/spark2.4/SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha1 ./SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha
[root@cdh01 parcel-repo]# cp /root/soft/cdh5.14/manifest.json ./

3. 重启集群和CM

3.1、在重启先先确认下在cm上有没有配置jdk路径,不是linux里面,是cm的web页面【主机】- 【所有主机】-【配置】-【高级】

在这里插入图片描述

3.2、重启

/opt/cm-5.14.0/etc/init.d/cloudera-scm-server restart
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent restart

4. 安装

4.1、登录cm web管理页面
4.2、【主机】-【Parcel】可以看到我们刚刚添加是spark2状态是已下载,点击分配, 然后分配完成后点击激活。

在这里插入图片描述

4.3、返回集群主界面,添加服务,选择spark2,即可安装
4.4、安装完可以在集群主界面看到已启动的spark2服务。

在这里插入图片描述
注.所有服务打问号是我将cm管理关了,笔记本资源不足。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章