cdh5.14安装采坑集锦

安装cdh的过程太心酸了,各种坑被我遇到了,记录下

1、下载对应操作系统版本的CDH
CentOS6系统就下载CDH el6版本的
CentOS7系统就下载CDH el7版本的
这个在cloudera-manager 的web页面分发CDH的时候,如果版本不一致,会提示找不到本地parcel

2、安装一些CentOS系统服务,比如httpd等
挂载安装的操作系统镜像iso文件,然后将挂载成功的目录做成网络镜像源,可以方便集群的节点安装centos中某个功能

3、在用/opt/cloudera-manager-installer.bin安装完成cm后,在/etc/yum.repos.d/目录下会多出cloudera-manager.repo.rpmnew 这个源,要删除,这里面是官网的镜像源。
如果不删除可能导致安装会走官网。

4、安装centos镜像中的httpd,不要自己用一些其他的源安装,可能会导致安装了和c系统其他模块依赖不兼容的版本的httpd。

	错误:软件包:1:mod_ssl-2.4.6-40.el7.centos.x86_64 (c7-media)
    需要:httpd = 2.4.6-40.el7.centos
    已安装: httpd-2.4.6-89.el7.centos.x86_64 (@updates)
    httpd = 2.4.6-89.el7.centos
    可用: httpd-2.4.6-40.el7.centos.x86_64 (c7-media)
    httpd = 2.4.6-40.el7.centos

我安装就出现了这样的情况,只能先卸载 yum list | grep httpd 找到安装的httpd,然后用rpm -e httpd…rpm 卸载,用挂载的centos镜像安装httpd。

5、安装agent失败
下面的错误原因是少了很多CentOS的服务没有,因为虚拟机安装的是mini版本很多功能没有装全,所以需要将CentOS做成网络镜像源
下面的原因是我配置的镜像源被我改了,忘了改回来导致这里找不到。
在这里插入图片描述

6、这里报无法接受到Agent发出的检测信号。

在这里插入图片描述
上面列出了可能的几种原因
安装失败。
无法接收 Agent 发出的检测信号。
•请确保主机的名称已正确配置。
•请确保端口 7182 可在 Cloudera Manager Server 上访问(检查防火墙规则)。
•请确保正在添加的主机上的端口 9000 和 9001 空闲。
•检查正在添加的主机上 /var/log/cloudera-scm-agent/ 中的代理日志(某些日志可在安装详细信息中找到)。

情况分析:
主机名一般不会错误,7182端口肯定能访问,防火墙都是关闭的,9000,9001端口可以通过watch netstat -lntp查看端口占用情况。
通过查看/var/log/cloudera-scm-agent/ 中的代理日志,发现我的错误是

agent        ERROR    Failed to connect to previous supervisor.
ERROR    Heartbeating to 192.168.252.161:7182 failed.

所以是supervisord进程没有起来导致agent无法连接到server的7182端口

supervisord进程占用
一般情况下估计是supervisord这个cm的守护进程被占用了,原因个人分析是之前装过cdh,失败了,然后卸载cdh以及删除各种文件,但是忘了杀死这个进程,导致重新安装cdh的时候这个进程还是上次安装启动的,而下次安装的就启动不了了。

解决方法:
ps -ef | grep supervisord 看看cmf的进程
然后kill pid
再停止agent服务,重启agent服务
systemctl cloudera-scm-agent stop
systemctl cloudera-scm-agent start
如果supervisord进程还是起不来,最好卸载掉cdh再次重新安装吧,这次应该不会报这个错误了,我的就是这样卸载再次安装才成功的。

在这里插入图片描述
下一步

在这里插入图片描述
这里路径都不变

7、检查主机正确性
安装到这一步是判断集群哪里有不妥的地方会报警告,最好处理

7.1、Inspector did not run successfully
这个警告是因为有个节点在/usr/share/目录下没有cmf文件夹,或者cmf里面文件有缺失
解决方法:将其他正常的节点的cmf文件夹scp到这个问题节点的/usr/share/下面。

7.2、Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf,以在重启后保存该设置。您可以继续进行安装,但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。
解决方法:

----临时修改:

[root@rhce ~]# sysctl vm.swappiness=10
vm.swappiness = 10
[root@rhce ~]# cat /proc/sys/vm/swappiness
10
这里我们的修改已经生效,但是如果我们重启了系统,又会变成60.

----永久修改:
在/etc/sysctl.conf 文件里添加如下参数:
vm.swappiness=10
或者:
[root@rhce ~]# echo 'vm.swappiness=10'>> /etc/sysctl.conf
保存,重启,就生效了。

7.3、使用mysql配置Activity Monitor数据库遇到
JDBC driver cannot be found. Unable to find the JDBC database jar on host
缺失jdbc驱动
在/usr/share/java目录下放mysql的驱动包
mv mysql-connector-java-5.1.39.jar mysql-connector-java.jar
一定要改名字为mysql-connector-java.jar

在mysql中use amon 进入该数据库,然后
grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;
flush privileges;
页面配置如下
cdh100:3306 amon root 123456
测试连接成功即可

到这里我遇到的坑就排完了
最好先只安装zookeeper服务,等成功后,再在cm管理页面添加服务。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章