cdh5.14安裝採坑集錦

安裝cdh的過程太心酸了,各種坑被我遇到了,記錄下

1、下載對應操作系統版本的CDH
CentOS6系統就下載CDH el6版本的
CentOS7系統就下載CDH el7版本的
這個在cloudera-manager 的web頁面分發CDH的時候,如果版本不一致,會提示找不到本地parcel

2、安裝一些CentOS系統服務,比如httpd等
掛載安裝的操作系統鏡像iso文件,然後將掛載成功的目錄做成網絡鏡像源,可以方便集羣的節點安裝centos中某個功能

3、在用/opt/cloudera-manager-installer.bin安裝完成cm後,在/etc/yum.repos.d/目錄下會多出cloudera-manager.repo.rpmnew 這個源,要刪除,這裏面是官網的鏡像源。
如果不刪除可能導致安裝會走官網。

4、安裝centos鏡像中的httpd,不要自己用一些其他的源安裝,可能會導致安裝了和c系統其他模塊依賴不兼容的版本的httpd。

	錯誤:軟件包:1:mod_ssl-2.4.6-40.el7.centos.x86_64 (c7-media)
    需要:httpd = 2.4.6-40.el7.centos
    已安裝: httpd-2.4.6-89.el7.centos.x86_64 (@updates)
    httpd = 2.4.6-89.el7.centos
    可用: httpd-2.4.6-40.el7.centos.x86_64 (c7-media)
    httpd = 2.4.6-40.el7.centos

我安裝就出現了這樣的情況,只能先卸載 yum list | grep httpd 找到安裝的httpd,然後用rpm -e httpd…rpm 卸載,用掛載的centos鏡像安裝httpd。

5、安裝agent失敗
下面的錯誤原因是少了很多CentOS的服務沒有,因爲虛擬機安裝的是mini版本很多功能沒有裝全,所以需要將CentOS做成網絡鏡像源
下面的原因是我配置的鏡像源被我改了,忘了改回來導致這裏找不到。
在這裏插入圖片描述

6、這裏報無法接受到Agent發出的檢測信號。

在這裏插入圖片描述
上面列出了可能的幾種原因
安裝失敗。
無法接收 Agent 發出的檢測信號。
•請確保主機的名稱已正確配置。
•請確保端口 7182 可在 Cloudera Manager Server 上訪問(檢查防火牆規則)。
•請確保正在添加的主機上的端口 9000 和 9001 空閒。
•檢查正在添加的主機上 /var/log/cloudera-scm-agent/ 中的代理日誌(某些日誌可在安裝詳細信息中找到)。

情況分析:
主機名一般不會錯誤,7182端口肯定能訪問,防火牆都是關閉的,9000,9001端口可以通過watch netstat -lntp查看端口占用情況。
通過查看/var/log/cloudera-scm-agent/ 中的代理日誌,發現我的錯誤是

agent        ERROR    Failed to connect to previous supervisor.
ERROR    Heartbeating to 192.168.252.161:7182 failed.

所以是supervisord進程沒有起來導致agent無法連接到server的7182端口

supervisord進程佔用
一般情況下估計是supervisord這個cm的守護進程被佔用了,原因個人分析是之前裝過cdh,失敗了,然後卸載cdh以及刪除各種文件,但是忘了殺死這個進程,導致重新安裝cdh的時候這個進程還是上次安裝啓動的,而下次安裝的就啓動不了了。

解決方法:
ps -ef | grep supervisord 看看cmf的進程
然後kill pid
再停止agent服務,重啓agent服務
systemctl cloudera-scm-agent stop
systemctl cloudera-scm-agent start
如果supervisord進程還是起不來,最好卸載掉cdh再次重新安裝吧,這次應該不會報這個錯誤了,我的就是這樣卸載再次安裝才成功的。

在這裏插入圖片描述
下一步

在這裏插入圖片描述
這裏路徑都不變

7、檢查主機正確性
安裝到這一步是判斷集羣哪裏有不妥的地方會報警告,最好處理

7.1、Inspector did not run successfully
這個警告是因爲有個節點在/usr/share/目錄下沒有cmf文件夾,或者cmf裏面文件有缺失
解決方法:將其他正常的節點的cmf文件夾scp到這個問題節點的/usr/share/下面。

7.2、Cloudera 建議將 /proc/sys/vm/swappiness 設置爲最大值 10。當前設置爲 30。使用 sysctl 命令在運行時更改該設置並編輯 /etc/sysctl.conf,以在重啓後保存該設置。您可以繼續進行安裝,但 Cloudera Manager 可能會報告您的主機由於交換而運行狀況不良。
解決方法:

----臨時修改:

[root@rhce ~]# sysctl vm.swappiness=10
vm.swappiness = 10
[root@rhce ~]# cat /proc/sys/vm/swappiness
10
這裏我們的修改已經生效,但是如果我們重啓了系統,又會變成60.

----永久修改:
在/etc/sysctl.conf 文件裏添加如下參數:
vm.swappiness=10
或者:
[root@rhce ~]# echo 'vm.swappiness=10'>> /etc/sysctl.conf
保存,重啓,就生效了。

7.3、使用mysql配置Activity Monitor數據庫遇到
JDBC driver cannot be found. Unable to find the JDBC database jar on host
缺失jdbc驅動
在/usr/share/java目錄下放mysql的驅動包
mv mysql-connector-java-5.1.39.jar mysql-connector-java.jar
一定要改名字爲mysql-connector-java.jar

在mysql中use amon 進入該數據庫,然後
grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;
flush privileges;
頁面配置如下
cdh100:3306 amon root 123456
測試連接成功即可

到這裏我遇到的坑就排完了
最好先只安裝zookeeper服務,等成功後,再在cm管理頁面添加服務。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章