CDH環境搭建及部署

CDH環境搭建及部署

一、概述

---

Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，簡稱“CDH”），基於Web的用戶界面,支持大多數Hadoop組件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop。

二、安裝部署

---

2.1 集羣架構

序號	IP地址	主機名	系統版本
1	10.211.55.100	zero	Centos 7.7
2	10.211.55.101	Hadoop1	Centos 7.7
3	10.211.55.102	Hadoop2	Centos 7.7

2.2 基礎環境配置

2.2.1 網絡配置

vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static 
ONBOOT=yes
IPADDR=10.211.55.100
NETMASK=255.255.255.0 
GATEWAY=10.211.55.1

systemctl restart network.service  #重啓網絡服務

2.2.2 禁用防火牆和SELINUX

systemctl stop firewalld
systemctl disable firewalld

vi /etc/sysconfig/selinux

SELINUX=disabled  #將SELINUX的值改爲disabled

reboot  #重啓設備使selinux的配置生效

2.2.3 更改主機名

hostnamectl set-hostname  zero

2.2.3 修改hosts

vi /etc/hosts

10.211.55.100 zero
10.211.55.101 hadoop1
10.211.55.102 hadoop2

reboot  #修改完後重啓生效

2.2.4 同步時間

yum -y install ntp  #安裝NPT服務

vi /etc/ntp.conf  #修改配置文件

#註釋掉原有的server指向
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

#zero節點指向
server 0.cn.pool.ntp.org
server 0.asia.pool.ntp.org
server 3.asia.pool.ntp.org

server 10.211.55.100 iburst  #Hadoop1/Hadoop2節點指向zero節點

ntpdate -u cn.pool.ntp.org  #同步網絡時間

#重啓ntp服務
systemctl start ntpd
systemctl enable ntpd

hwclock --localtime -w  #將系統時間寫入本地硬件時鐘時間

2.2.5 配置SSH免密登錄

ssh-keygen -t rsa  #不輸入密碼，一路回車

ssh-copy-id hadoop1
ssh-copy-id hadoop2

#測試連通性
ssh 'zero'
ssh 'hadoop1'
ssh 'hadoop2'

2.2.6 安裝JDK

mkdir /usr/Java/  #創建目錄
tar -zxvf jdk1.8.0_211.tar.gz -C /usr/Java/  #解壓JDK包到指定目錄

vi /etc/profile	 #配置環境變量

#JAVA
export JAVA_HOME=/usr/Java/jdk1.8.0_211
export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile  #使配置文件生效

java -version  #查看版本信息 檢測安裝是否成功

#安裝成功後的返回信息
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)

2.2.7 安裝MySQL（主節點安裝即可）

#查看系統中是否已安裝MySQL服務 如果存在則刪除MySQL及其依賴的包
rpm -qa | grep mysql
yum list installed | grep mysql

wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm
rpm -ivh mysql57-community-release-el7-8.noarch.rpm
yum install mysql-server #安裝MySQL 如出現提示 一路y到底

安裝完畢後，運行MySQL，後在 /var/log/mysqld.log文件中會自動生成一個隨機密碼。

service mysqld start  #運行MySQL
grep "password" /var/log/mysqld.log  #取得隨機密碼 用於登錄 MySQL 服務端

#返回信息如下 “6WjiI.UxuoaF”即爲MySQL登陸密碼
2021-01-05T11:04:28.684402Z 1 [Note] A temporary password is generated for root@localhost: 6WjiI.UxuoaF

登錄到 MySQL 服務端並更改密碼。

/*修改密碼*/
SET PASSWORD = PASSWORD('new password');
ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;
flush privileges;

/*設置用戶 root 可以在任意 IP 下被訪問*/
grant all privileges on *.* to root@"%" identified by "new password";

/*設置用戶 root 可以在本地被訪問*/
grant all privileges on *.* to root@"localhost" identified by "new password";

/*刷新權限使其生效*/
flush privileges;

2.3 Cloudera Manager的安裝及部署

2.3.1 安裝Cloudera Manager

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb  #安裝第三方依賴包

mkdir -p /opt/cloudera-manager #創建目錄

解壓Cloudera Manager包到/opt/cloudera-manager目錄下。

tar -zvxf cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz  -C  /opt/cloudera-manager/

2.3.2 配置Cloudera Manager

修改agent配置文件。

vi /opt/cloudera-manager/cm-5.14.0/etc/cloudera-scm-agent/config.ini

#配置文件修改如下

# Hostname of the CM server.
server_host=zero

# Port that the CM server is listening on.
server_port=7182

爲CM創建一個專用的普通用戶 cloudera-scm。

useradd --system  #表示創建的是系統用戶
--home=/opt/cloudera-manager/cm-5.14.0/run/cloudera-scm-server  #指定了用戶的主目錄
--no-create-home #表示不再創建用戶的主目錄
--shell=/bin/false  #不作爲登陸用戶 
--comment "Cloudera SCM User" 
cloudera-scm  #用戶名

配置數據庫訪問權限，添加用戶。

grant all privileges on  *.*  to 'temp'@'%' identified by 'password' with grant option;
flush privileges;

在主節點上執行CM在MySQL中的初始化腳本。

mv mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar

#進入初始化腳本目錄下
cd /opt/cloudera-manager/cm-5.14.0/share/cmf/schema

#運行初始化腳步
./scm_prepare_database.sh mysql -h zero -utemp -ppassword --scm-host zero scm scm scm

配置CDH源（注意下載的時候需要版本對應，el5/6/7分別對應CentOS5/6/7。）

#創建目錄
mkdir -p /opt/cloudera/parcel-repo  #主節點
mkdir -p /opt/cloudera/parcels  #所有節點

#將parcel文件移動到parcel-repo目錄下
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel  /opt/cloudera/parcel-repo/

#將json文件移動到parcel-repo目錄下
mv manifest.json  /opt/cloudera/parcel-repo/

#重命名校驗碼文件並移動到parcel-repo目錄下
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1  /opt/cloudera/parcel-repo/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha

更改目錄所有人

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/  #主節點
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/  #所有節點

2.3.3 啓動CM進程服務

啓動server（主節點）

/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server:                              [  確定  ]  #成功啓動後的返回信息

啓動agent（所有節點）

/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent:                               [  確定  ]  #成功啓動後的返回信息

2.3.3 開始部署

打開http://10.211.55.100:7180/進入CM初始界面，賬號密碼爲admin。

登陸進入勾選同意條款，點擊繼續，選擇免費版本。

繼續下一步，勾選安裝主機。

羣集安裝默認勾選即可，點擊繼續，等待安裝完成。

點擊繼續，檢查主機正確性，參照給出的信息進行修復。

點擊繼續，選擇需要的服務。

點擊繼續，進行角色分配。

配置數據庫，使其連接成功。

審覈更改頁面直接默認，點擊繼續。

等待部署完成。

點擊繼續，安裝完成。感動新中國😭。

三、錯誤&解決

---

#錯誤
Your password does not satisfy the current policy requirements

#解決方法
vi /etc/my.cnf  #修改配置文件my.cnf
validate_password=off  #關閉密碼策略設置validate_password
service mysqld restart  #重啓服務

#錯誤
爲CDH羣集安裝指定主機無法勾選。

#解決方法
/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-server stop  #停止server
/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-agent stop  #停止agent

#刪除/opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-server-db/data/目錄下內容
rm -rf /opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-server-db/data/*

/*刪除MySQL數據庫中scm數據庫下的hosts表中的數據*/
use scm;
delete from HOSTS;

#錯誤
MainThread agent ERROR Error, CM server guid updated, expected 7cda865f-a833-40d1-9fa6-761631c74326, received e2678b78-7c5e-4703-91b6-c52e2875988c

#解決方法
rm -rf /opt/cloudera-manager/cm-5.14.0/lib/cloudera-scm-agent/cm_guid

#錯誤
ERROR Table 'scm.CM_VERSION' doesn't exist

#解決方法
vi /etc/my.cnf  #修改配置文件my.cnf
lower_case_table_names = 1  #[mysqld]節點下添加
service mysqld restart  #重啓服務

#錯誤
ERROR WebServerImpl:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: The server storage directory [/var/lib/cloudera-scm-server] doesn't exist.

#解決方法
mkdir /var/lib/cloudera-scm-server
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server    #創建目錄並加上權限