CDH-5.14安裝文檔
-
操作系統 CentOS Linux release 7.6.1810 -
JDK jdk1.8.0_131 -
Clouder Manager CDH-5.14.3 -
CDH CDH-5.14.2 -
數據庫 Mysql 5.7 -
JDBC mysql-connector-java.jar -
節點數 3
應該算是超級詳細的安裝手冊了，基本上包含了安裝過程中遇到的問題，已經解決方式，本篇安裝文檔沒有對CDH安裝的組件進行參數的優化和配置，有需要參數調優的需要自行百度
目錄
CDH-5.14安裝文檔 1
一、安裝包準備 3
- 從共享目錄把CDH的安裝包複製到掛載好的盤中，同時需要把 .sha1 結尾的文件改成 .sha 3
- 準備oracle的JDK1.8 3
- 下載mysql安裝包 4
二、環境準備 4
1.配置hosts（所有節點都需要配置） 4
2.關閉所有節點的防火牆 4
3.配置免密登陸 4
4.配置ntp服務（所有節點都需要） 5
5.卸載掉自帶的 open-jdk ，安裝 oracle的java 6
6.主節點安裝Mysql 7
（1）下載安裝包 7
（2）解壓 7
（3）安裝rpm包 7
（4）啓動mysql 8
三、安裝CDH 10
1.將CM解壓到/opt 10
2.將mysql jdbc包複製到 /opt/cm-5.14.3/share/cmf/lib 10
3.初始化CM 10
4.在所有節點創建用戶 10
5.修改主節點的cloudera-scm-agent配置 10
6.將其他的三個包複製到/opt/cloudera/parcel-repo 目錄下 11
7.啓動Server和Agent 11
（1）節點啓動Server 11
（2）在所有節點啓動agent 11
8.通過瀏覽器訪問CM 11
9.安裝CDH 12
（1）登陸界面後接受協議 12
（2）選擇CM的版本 12
（3）選擇“當前管理的主機“選擇項卡，點【繼續】。 13
（4）檢查時出現如下情況需要進行處理 14
一、安裝包準備
1. 從共享目錄把CDH的安裝包複製到掛載好的盤中，同時需要把 .sha1 結尾的文件改成 .sha
需要四個文件：
cloudera-manager-centos7-cm5.14.3_x86_64.tar.gz
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
manifest.json
需要注意大版本要保持一致
需要其他版本的下載地址：
Cloudera Manager 下載地址：
https://archive.cloudera.com/cm5/cm/5/
CDH 下載地址：
http://archive.cloudera.com/cdh5/parcels/5.14/
2. 準備oracle的JDK1.8
共享目錄中有，沒用的需要到oracle官網下載
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
3. 下載mysql安裝包
下載地址：https://dev.mysql.com/
安裝mysql 最好一次成功，安裝失敗以後重新安裝會有很多奇怪的問題，比較麻煩
二、環境準備
1.配置hosts（所有節點都需要配置）
vi /etc/hosts
2.關閉所有節點的防火牆
systemctl stop firewalld.service
systemctl disable firewalld.service（禁止防火牆開機自啓）
3.配置免密登陸
ssh-keygen -t rsa (一路回車就好)
ssh-copy-id ip
ssh 172.20.238.102 (可以無密碼登陸說明設置成功)
設置 主節點到從節點的免密
4.配置ntp服務（所有節點都需要）
（1） rpm -qa | grep ntp （查看是否安裝ntp服務）如下圖時，未安裝需要安裝
（2）yum –y install ntp
（3）修改ntp.conf 文件，所有節點都需要修改
主節點配置方式
vi /etc/ntp.conf
從節點的配置方式
vi /etc/ntp.conf
（4）啓動 ntp服務 systemctl start ntpd
5.卸載掉自帶的 open-jdk ，安裝 oracle的java
（1） rpm -qa | grep java （本次安裝沒用自帶的openjdk）
（2）如果有自帶的jdk 使用 rpm -e –nodeps +包名 強制卸載掉
（3）安裝1.8的jdk
把tar包解壓 tar xvf jdk-8u131-linux-x64.tar.gz
（4）修改/etc/profile （配置環境變量）
export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=JAVA_HOME/bin
source /etc/profile
java -version 檢查是否配置成功
6.主節點安裝Mysql
注意： 需要檢查是否有mariadb（如果有需要卸載）
rpm -qa | grep -i mariadb
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64 （卸載命令）
（1）下載安裝包
https://cdn.mysql.com//archives/mysql-5.7/mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar
（2）解壓
tar -xvf mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar
（3）安裝rpm包
安裝順序如下
rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.18-1.el7.x86_64.rpm
注意安裝rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm 可能會遇到依賴net-tools，兩種解決方式，一種是下載net yum install net-tools，另一種是 強制安裝
rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm --force --nodeps
//安裝下面包，否則Hue安裝報連接錯誤
rpm -ivh mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm
（4）啓動mysql
①systemctl start mysqld
②systemctl status mysqld
③修改 vi /etc/my.cnf 免密登陸mysql 在[mysqld]下加入一行：
skip-grant-tables
④重啓mysql
service mysqld restart
⑤輸入mysql 直接登陸
⑥mysql客戶端執行以下命令，修改root密碼
mysql> use mysql;
mysql> UPDATE user SET authentication_string = password(‘your-password’) WHERE host = ‘localhost’ AND user = ‘root’;
mysql> select host,user, authentication_string, password_expired from user;
mysql> update user set password_expired=‘N’ where password_expired=‘Y’ //密碼不過期
mysql> update user set host=’%’ where user=‘root’ and host=‘localhost’; //遠程可訪問
mysql> flush privileges; //刷新
mysql> exit;//退出
⑦修改配置文件/etc/my.cnf刪除此前新增那一行skip-grant-tables，並重啓MySQL
mysql -u root -p 輸入密碼驗證一下看是否可以通過設置的密碼登陸
⑧創建數據庫
創建 hive數據庫
mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
創建 activity monitor
mysql> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
創建 hue
mysql> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
創建 oozie
mysql> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
⑨授權root用戶在主節點擁有所有數據庫的訪問權限（主節點）
mysql> grant all privileges on . to ‘root’@’%'identified by ‘root’ with grant option;
mysql> flush privileges;
注意：授權是可能會出現授權失敗的問題，原因是密碼策略問題，需要在/etc/my.conf 中添加 如下允許使用簡單密碼
validate_password=off
保存以後需要重啓mysql
三、安裝CDH
1.將CM解壓到/opt
tar xvf cloudera-manager-centos7-cm5.14.3_x86_64.tar.gz -C /opt/
2.將mysql jdbc包複製到 /opt/cm-5.14.3/share/cmf/lib
cp mysql-connector-java.jar /opt/cm-5.14.3/share/cmf/lib
3.初始化CM
/opt/cm-5.14.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm
4.在所有節點創建用戶
useradd --system --home=/opt/cm-5.14.3/run/cloudera-scm-server --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm
5.修改主節點的cloudera-scm-agent配置
（1）在主節點上，修改/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini文件
（2）將cm-5.14.3打包，發送到其他agent 節點
scp cm-5.14.3.tar.gz gz238-102:PWD
然後解壓（所有節點）
tar xvf cm-5.14.3.tar.gz
6.將其他的三個包複製到/opt/cloudera/parcel-repo 目錄下
7.啓動Server和Agent
（1）節點啓動Server
/opt/cm-5.14.3/etc/init.d/cloudera-scm-server start
注意： 啓動的時候可能會有 pstree: command not found
解決方式：yum install psmisc -y
（2）在所有節點啓動agent
/opt/cm-5.14.3/etc/init.d/cloudera-scm-agent start
8.通過瀏覽器訪問CM
地址：http://主節點IP:7180
用戶名、密碼：admin
9.安裝CDH
（1）登陸界面後接受協議
（2）選擇CM的版本
本次安裝選擇Cloudera Express免費版
（3）選擇“當前管理的主機“選擇項卡，點【繼續】。
（4）檢查時出現如下情況需要進行處理
① 修改linux內核參數
設置swappiness，控制換出運行時內存的相對權重，Cloudera 建議將 swappiness 設置爲 10
//查看swappiness
cat /proc/sys/vm/swappiness
//永久性修改，執行下面兩條命令
sysctl -w vm.swappiness=10
echo vm.swappiness = 10 >> /etc/sysctl.conf
② 關閉透明大頁面
臨時關閉
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
執行完後重新檢查主機
數據庫設置要和之前mysql創建庫的時候一致
安裝過程中遇到Unexpected error. Unable to verify database connection.
原因是沒有安裝mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm
安裝完以後還有這個問題，需要執行 yum install php-devel php-pear httpd-devel
注意:
莫名其妙遇到這個問題,解決方式，返回上一步，重新進入
審覈設置：（本次採用的是默認設置）
開始安裝 ：
安裝過程中遇到 Deploy Client Configuration
這裏需要強調一下CDH5默認識別的jdk路徑爲：/usr/java/default， 本人安裝的jdk路徑是/usr/java
解決方法
本人將jdk的路徑使用軟連接的方式將jdk映射到default中，軟連接建立命令：
ln -s /usr/java/jdk1.8.0_131/* /usr/java/default/
沒用報錯，顯示安裝完成
安裝完成
CM5.14啓動HUE Load Balancer角色失敗。
本次的原因是缺少依賴，需要安裝yum -y install mod_ssl
yum -y install httpd
