準備工作
1.服務器
關鍵詞：
3臺服務器
配置要求至少2核8G
選擇同地域同區域服務器，保證內網通暢
個人學習，推薦使用阿里雲按量付費的服務器，在使用時候開啓，不適用的時候關機停止收費。
需注意兩點：
（1）服務器配置至少2核8G，否則CDH集羣可能無法正常運行
（2）服務器要保證在同一地域的同一可用卻，切記一定不能使用隨機分配區域，否則不同地域的實例之間內網互不相通
阿里雲的使用細節不做過多描述，不清楚的可以查看若澤數據課程：https://www.bilibili.com/video/av52167219/?p=3
按照操作，最終的配置如下：
2.安裝包準備
CM
cloudera-manager-centos7-cm5.16.1x8664.tar.gz Parcel
CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 manifest.json
JDK
https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html
下載jdk-8u202-linux-x64.tar.gz
MySQL https://dev.mysql.com/downloads/mysql/5.7.html#downloads
下載mysql-5.7.26-el7-x86_64.tar.gz
MySQL jdbc jar
mysql-connector-java-5.1.47.jar
下載完成後要重命名去掉版本號，
mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar
2.規劃
節點 | MySQL部署組件 | Parcel文件離線元 | CM服務進程 | 大數據組件 |
hadoop001 | MySQL | Parcel |
Activity Monitor | NN RM DN NM |
hadoop002 |
Alert Publisher Event Server |
DN NM | ||
hadoop003 |
Host Monitor Service Monitor | DN NM |
3.集羣節點初始化
1.配置host
vim /etc/hosts
172.26.84.187 hadoop001
172.26.84.188 hadoop002
172.26.84.189 hadoop003
2.配置防火牆（詳細介紹阿里雲服務器）
（1）如果使用內部服務器，建議先關閉防火牆，集羣搭建起之後，再開啓相關端口。防火牆相關命令，自行查找。
（2）阿里雲服務器默認防火牆爲關閉狀態，在阿里雲的web界面，找到服務器的安全組，對服務器的安全組進行配置，操作如下
1.進入服務器列表，找到 安全組配置
2.點擊配置規則
3.添加配置規則
圖中的規則代表：開啓7180到7180直接的端口號，授權對象，即訪問限制的ip爲0.0.0.0/0，即所有ip地址均可訪問該web端口。
3.時區設置，timezone和datatime同步（阿里雲時間基本不會出問題，方法二可跳過）
(1) 通過date命令以及timedatectl，查找集羣每臺機器時間是否一致、時區是否一致以及是否爲CST格式的時間。
CST被視爲美國、澳大利亞、古巴或中國的標準時間
如果時區不一致，使用timedatectl --help查看相關命令
使用list-timezones查看時區列表
set-timezone Asia/Shanghai
（2）使用ntp服務設置時區
yum install -y ntp
使用hadoop001 作爲時間同步的主節點
hadoop002-003作爲時間同步的從節點
設置主節點
vim /etc/ntp.conf
#time
#這個是互聯網同步亞洲時區
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
#這步很重要，如果該服務器網絡出問題了，就同步自己的本地時間
server 127.127.1.0 iburst local clock
#這個是允許客戶端172.26.84段的地址可以同步該時間同步服務器。
restrict 172.26.84.0 mask 255.255.255.0 nomodify notrap
systemctl start ntpd 重啓ntpdfuwu
systemctl status ntpd 查看ntpd服務狀態，當現實爲runnig的時候，說明已經開始服務
ntpq -p 查看驗證結果
三條命令的操作結果如下
設置從節點
關閉從節點ntpd服務，否則從節點也是使用ntpd網絡設置時間
systemctl stop ntpd
systemctl disable ntpd
在從節點使用 /usr/bin/ntpstat hadoop001 表示同步hadoop001節點時間
4.JDK安裝
路徑：/usr/java
解壓之後的用戶及用戶組的修正
配置環境變量
tar -zxvf jdk包 -C /usr/java
chown -R root:root /usr/java/jdk1.8.0_45/
vim /etc/profile
#env環境變量
export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
java -version檢查
5.MySQL離線部署
https://github.com/Hackeruncle/MySQL/blob/master/MySQL%205.7.11%20Install.txt
6.準備mysql相關jar包
mkdir -p /usr/share/java
cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar
jar包的名稱一定要把版本號去掉，否則將不會識別
cmf
amon
都要部署在hadoop001節點上 那麼此節點就要部署jar包
7.離線部署CM
解壓
tar -zxvf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt/cloudera-manager/
agent配置 （全部機器）
cd /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent
vim config.inc 將server_host修改成主節點的域名
server配置（主節點）
選取hadoop001作爲server端，修改server端配置文件
cd /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-server
vim db.properties
# Copyright (c) 2012 Cloudera, Inc. All rights reserved.
#
# This file describes the database connection.
#
# The database type
# Currently 'mysql', 'postgresql' and 'oracle' are valid databases.
com.cloudera.cmf.db.type=mysql
# The database host
# If a non standard port is needed, use 'hostname:port'
com.cloudera.cmf.db.host=hadoop001
# The database name
com.cloudera.cmf.db.name=cmf
# The database user
com.cloudera.cmf.db.user=cmf
# The database user's password
com.cloudera.cmf.db.password=mysql的密碼
# The db setup type
# By default, it is set to INIT
# If scm-server uses Embedded DB then it is set to EMBEDDED
# If scm-server uses External DB then it is set to EXTERNAL
com.cloudera.cmf.db.setupType=EXTERNAL
三臺機器創建爲cdh運行的用戶，用戶不需要獨立的根目錄以及登錄，這個用戶只是給cdh做啓動使用
useradd --system --home=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false cloudera-scm
修改三臺機器目錄權限
chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager
8.parcel文件離線源 hadoop001
mkdir -p /opt/cloudera/parcel-repo
mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/
mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha (注意需要給文件重命名 去掉1)
mv manifest.json /opt/cloudera/parcel-repo/
校驗文件是否有問題：/usr/bin/sha1sum CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel
對比返回的值 和 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha 的值是否一致
更改用戶組：
chown -R cloudera-scm:cloudera-scm /opt/cloudera
這樣 hadoop001的離線源部署完成
9.所有節點創建大數據軟件的安裝目錄 用戶和用戶組
[root@hadoop001 parcel-repo]# mkdir -p /opt/cloudera/parcels
[root@hadoop001 parcel-repo]# chown -R cloudera-scm:cloudera-scm /opt/cloudera
10.啓動服務
hadoop001啓動server：
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server start --啓動server端
cd /opt/cloudera-manager/cm-5.16.1/log/cloudera-scm-server 進入server端日誌，查看日誌文件
所有服務器，啓動scm：
/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start
11.打開防火牆，開啓7180端口
默認用戶名：admin
默認密碼：admin
選擇免費版本即可
