搭建CDH實驗環境,以三個節點爲例的安裝配置

(一)實驗環境
l 實驗介質
n CentOS-7-x86_64-Everything-1708.iso
n jdk-8u161-linux-x64.rpm
n cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
n CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
n CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
n manifest.json

l 準備三臺CentOS虛擬機,三個節點:一個Cloudera Manager節點、兩個Agent節點
安裝如下:
n CDH71:Server GUI、Development Tools、MariaDB
n CDH72、CDH73:Server GUI、Development Tools
(二)安裝配置CentOS(每臺機器)
注意把下面的兩個選項選上
l Server With GUI
l Development Tools
l MariaDB Server(就是MySQL數據庫):注意只在cdh71上安裝
搭建CDH實驗環境,以三個節點爲例的安裝配置
l 關閉防火牆
systemctl stop firewalld.service
systemctl disable firewalld.service

l 配置主機名:編輯/etc/hosts文件
l 配置免密碼登錄
l 配置ntp服務
Ø 創建目錄:mkdir /root/cdroom/
Ø 掛載光盤:mount /dev/cdrom /root/cdroom/
Ø 刪除原來的所有repo文件
Ø 創建yum的源文件: vi /etc/yum.repos.d/my.repo
[centos-yum]
baseurl=file:///root/cdroom
enabled=1
gpgcheck=0
Ø 開啓NTP服務
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
l yum -y install psmisc ---> 安裝pstree命令

(三)安裝JDK(每臺機器)
一定注意,這一步跟之前不一樣!!!
l 卸載系統原有的Java環境
第一步:使用下面的命令查看當前所有的Java環境的安裝包
rpm -qa | grep java
第二步:使用下面的命令刪除所有的Java安裝包
rpm -e --nodeps 包名

l 安裝新的JDK環境
Ø 將jdk-8u161-linux-x64.rpm上傳到/opt目錄
Ø 安裝JDK:rpm -ivh jdk-8u161-linux-x64.rpm
Ø 執行下面的命令,設置環境變量:
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

l 驗證JDK環境
搭建CDH實驗環境,以三個節點爲例的安裝配置
(四)配置MariaDB(在cdh71上)
l 啓動MariaDB
systemctl start mariadb
systemctl enable mariadb (開機自啓動)

l 配置MariaDB
mysql_secure_installation
#首先是設置密碼,會提示先輸入密碼
Enter current password for root (enter for none):<–初次運行直接回車
#設置密碼
Set root password? [Y/n] <–是否設置root用戶密碼,輸入y並回車或直接回車
New password: <– 設置root用戶的密碼
Re-enter new password: <– 再輸入一次你設置的密碼
#其他配置
Remove anonymous users? [Y/n] <– 是否刪除匿名用戶,回車
Disallow root login remotely? [Y/n] <–是否禁止root遠程登錄,回車,
Remove test database and access to it? [Y/n] <– 是否刪除test數據庫,回車
Reload privilege tables now? [Y/n] <– 是否重新加載權限表,回車

l 初始化MariaDB
登錄數據庫:mysql -uroot -pWelcome_1
create database hive;
create database amon; ---> 這個是CDH的activity monitor
create database oozie;
create database hue;

l 安裝數據庫驅動
yum install mysql-connector-java
(五)安裝配置Clouder Manager(在cdh71上)
l 將cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz上傳至/opt目錄,並解壓
tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz

l 將mysql的驅動放到/opt/cm-5.12.1/share/cmf/lib/中
cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.12.1/share/cmf/lib/

l 初始化Cloudera Manager的數據庫元信息
/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pWelcome_1 --scm-host localhost scm scm scm

l 創建cloudera-scm用戶
useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

l 將以下文件上傳至/opt/cloudera/parcel-repo/目錄
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
manifest.json

l 重命名文件CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
改名爲:CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha (注意:少了一個1)

l 修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host爲主節點的主機名。

(六)配置Cloudera Agent(cdh72和cdh73)
l 從主節點cdh71上將Cloudera Manager Agent複製到agent節點(cdh72和cdh73)上
scp -r /opt/cm-5.12.1 root@cdh72:/opt/
scp -r /opt/cm-5.12.1 root@cdh73:/opt/

l 在agent節點(cdh72和cdh73)上創建cloudera-scm用戶
useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
(七)部署CDH5
l 在cdh71啓動服務Cloudera Manager Server
/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start

l 在cdh72和cdh73上啓動的agent
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start

l 訪問cdh71上的Cloudera Manager:
端口:7180(http://192.168.247.71:7180/cmf/login
搭建CDH實驗環境,以三個節點爲例的安裝配置
用戶名密碼:admin/admin
l 接受用戶條款
l 選擇60天試用版
l 點擊“繼續”
l 爲CDH羣集安裝指定主機(選擇cdh72和cdh73)

l 選擇存儲庫(注意:要刪除默認的遠程庫。如果之前沒有做這一步,會有錯誤。需要重新安裝)
搭建CDH實驗環境,以三個節點爲例的安裝配置
l 將存儲庫部署到主機
搭建CDH實驗環境,以三個節點爲例的安裝配置

l 檢查主機正確性
搭建CDH實驗環境,以三個節點爲例的安裝配置
在cdh72和cdh73上,執行下面的語句,並“重新運行”
echo 10 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
l 選擇您要在羣集上安裝的 CDH 5 服務。(以HDFS爲例)
步驟省略......(因爲這一步很簡單)
注意:需要在cdh71上創建report數據庫,如下:
create database report;
create user 'reportmanager'@'%' identified by 'Welcome_1';
grant all on report. TO 'reportmanager'@'%';
grant all on report.
TO 'reportmanager'@'localhost' identified by 'Welcome_1';
l 部署成功
搭建CDH實驗環境,以三個節點爲例的安裝配置
Cloudera Manager首頁
搭建CDH實驗環境,以三個節點爲例的安裝配置

l 檢查每臺機器上的Java後臺進程
搭建CDH實驗環境,以三個節點爲例的安裝配置

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章