搭建CDH

版本centos7,再克隆一臺。
一.基礎配置
1.配置網絡：採用Nat方式聯網。
2. vim /etc/sysconfig/network-scripts/ifcfg-ens33
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.80.3
NETMASK=255.255.255.0
GATEWAY=192.168.80.2
DNS1=202.196.32.1
3.開啓網卡：ifup ens33
4.測試：ping www.baidu.com
5.修改yum源：
1）mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
訪問：https://mirrors.ustc.edu.cn/help/centos.html
把對應版本的內容粘貼進去。
2)vi /etc/yum.repos.d/CentOS-Base.repo
3）yum makecache(用時較長）
4. yum install wget
5. yum install vim
6. yum install openssh-clients
二.配置JDK
1.cd /usr
2.mkdir java
3.rz (將JDK包傳到該目錄下）
4.tar -zxvf jdk(按tab鍵自動補全）
5.vim /etc/profile
最後添加環境變量：
export JAVA_HOME=/usr/java/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
6.執行命令 source /etc/profile
7.執行命令 java -version
出現 java version “1.8.0_181”
Java™ SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot™ 64-Bit Server VM (build 25.181-b13, mixed mode)
三.克隆
在關機狀態下克隆，並配置網絡
(克隆機器）
1.vim /etc/sysconfig/network-scripts/ifcfg-ens33
將UUID刪除，修改IP地址，加入mac地址HWADDR=（爲真的mac地址）
2.vim /etc/hostname（修改主機名，每臺主機都要做）
3.vim /etc/hosts（修改hosts文件，主機修改就行，下面是我的內容）
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.195.11 cdh1
192.168.195.12 cdh2
4.scp /etc/hosts root@cdh2:/etc/(將修改後的hosts文件傳到另外一臺機器上）
傳送過程需要輸入密碼
5.（關閉防火牆）systemctl stop firewalld
systemctl disable firewalld
6.重啓機器。然後保證主機之間互ping 主機名，互ping ip能夠ping通
四.禁止交換。（每臺主機都要做）
1.執行命令vim /etc/sysctl.conf
增加一行：vm.swappiness=0
2.執行命令：sudo sysctl vm.swappiness=0
五.禁用大頁面.（每臺主機都要做）
1.執行命令：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
2.執行命令，修改配置：
vim /etc/rc.local
增加兩行：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
3.執行命令，賦予權限
chmod +x /etc/rc.d/rc.local
六.配置免密碼登陸（每臺主機都要做）
1.執行命令，生成祕鑰：
ssh-keygen -t rsa
cd ~/.ssh
2.拷貝到要免密碼登陸的機器，要免密登陸哪個機器，就寫該機器的ip。這裏我2臺機器兩兩之間都做了免密登陸。
ssh-copy-id xxxx
比如要免密碼登錄192.168.168.12（cdh2)，則在cdh1上執行: ssh-copy-id 192.168.168.12
七.安裝MySQL。並配置數據庫。
爲了方便，把MySQL安裝在主節點Server上，但是注意最好別用太高版本的MySQL。這裏安裝的是MySQL5.7
1.檢測是否有mariadb
rpm -qa | grep mariadb
如果有，就卸載
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64
2.開始安裝，依次執行命令，根據提示信息操作
cd /usr/local/src
wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm
rpm -ivh mysql57-community-release-el7-8.noarch.rpm
yum -y install mysql-server
3.重啓MySQL：
systemctl restart mysqld.service
4.查看默認密碼
grep “password” /var/log/mysqld.log
5.使用默認密碼登陸：
6.進入命令行後,首先修改密碼
alter user ‘root’@‘localhost’ identified by ‘Root!!2018’;
7.然後進行創建用戶，授權等操作
grant all on . to ‘root’@’%’ identified by ‘Root!!2018’ with grant option;? – 授權
CREATE USER ‘scm’@’%’ IDENTIFIED BY ‘Root!!2018’; --創建一個新用戶，就使用這個用戶名，和密碼，後面cm的元數據庫會用到
grant all on . to ‘scm’@’%’ identified by ‘Root!!2018’ with grant option;? – 授權
CREATE USER ‘lpy’@’%’ IDENTIFIED BY ‘Root!!2018’; --創建一個新用戶，用戶名和密碼可以自定義，後面安裝hive，oozie會用到
grant all on . to ‘lpy’@’%’ identified by ‘Root!!2018’ with grant option;? ?–授權
flush privileges;? ? – 刷新權限
8.用上面自定義的數據庫用戶lpy登陸，在MySQL中創建幾個數據庫備用，數據庫名稱可以自定義。
mysql -u lpy -p
create database hive;
create database hue;
create database ooz;
9.使用scm用戶登錄MySQL，創建scm數據庫備用。
mysql -u scm -p
create database scm;
八.開始安裝CM和CDH
1.在所有節點執行命令，創建目錄：

sudo mkdir /opt/cloudera-manager

2.在所有節點，將下載好的cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz文件，上傳到/opt目錄下(用rz命令）

3.在所有節點，解壓該文件到/opt/cloudera-manager目錄。

tar -zxvf /opt/cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz -C /opt/cloudera-manager

4.在所有節點，創建用戶，這是CM需要使用的用戶
sudo useradd --system --home=/opt/cloudera-manager/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm
5.在主節點，創建CM服務本地數據存放目錄，並賦予權限
sudo mkdir /var/lib/cloudera-scm-server
sudo chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
6.在所有節點，執行命令：
vim /opt/cloudera-manager/cm-5.14.0/etc/cloudera-scm-agent/config.ini
修改server_host爲server節點的主機名，我的就是server_host=cdh1
7.在所有節點，將上面準備好的數據庫驅動上傳到/usr/share/java目錄下
8.在主節點上執行命令。初始化數據庫scm。mysql scm scm scm分別代表：數據庫類型 database名稱 數據庫用戶名 數據庫密碼
/opt/cloudera-manager/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql scm scm Root!!2018
如果出現如下提示，則證明CM元數據創建成功。
All done, your SCM database is configured correctly!
9.在主節點執行，創建CDH文件存放目錄。
mkdir /opt/cloudera/
cd /opt/cloudera
mkdir parcel-repo
10.將上面準備好的CDH的3個文件，上傳至/opt/cloudera/parcel-repo路徑下。
11.在主節點，啓動CM server
/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-server start
12.在所有節點，啓動CM agent
/opt/cloudera-manager/cm-5.14.0/etc/init.d/cloudera-scm-agent start（做一個快照！！！）
13.訪問serverip:7180（serverip爲主機的IP）。用戶名密碼都是admin。
九，配置WEB
1，選擇免費版即可。
2，2.點擊當前管理的主機，這些就是啓動了agent服務的主機，看看是否和自己預想的一樣。

3.勾選主機

4.安裝parcel包，這裏一定要注意選擇自己下載的CDH包的版本，如果選錯了，那就要走網絡下載，然後就等到明年吧…

5.然後就是的分發parcel包，解壓激活了，等待自動完成。

6.主機檢查，沒有什麼問題

7.安裝服務。資源太少，只安裝核心的Hadoop

8.默認即可。

9.前面MySQL安裝的時候，創建了一個自定義用戶lpy，和幾個數據庫，現在用上了

10，先cd到/usr/lib64/mysql目錄下，隨後rz找到mysql-community-libs-compat-5.7.23-1.el7.x86_64.rpm這個包，最後執行rpm -ivh mysql-community-libs-compat-5.7.23-1.el7.x86_64.rpm此命令即可。

11，審覈更改，默認124，改小一點吧，其他的 默認就好

12，完成。（出現問題恢復之前做的快照，重新操作一次，若還不行，增大分配的運行內存）