CentOS6安裝搭建Cloudera Manager 5和CDH5(版本5.13.3)大數據集羣

系統環境：
四臺虛擬主機
操作系統：CentOS 6（8核，16G，512G硬盤）
Cloudera Manager：5.13.3
CDH: 5.13.3

192.168.1.xx bigdata1
192.168.1.xx bigdata2
192.168.1.xx bigdata3
192.168.1.xx bigdata4

相關資源下載：
1.Cloudera Manager13.3下載地址：
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.13.3_x86_64.tar.gz
其他版本自行尋找：
http://archive.cloudera.com/cm5/cm/5/
2.CDH安裝包地址：
http://archive.cloudera.com/cdh5/parcels/5.13.3.2/

同樣對應操作系統下載：

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel
CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1
manifest.json

一、系統環境搭建（詳細步驟略）

大概就是：
1.沒改好靜態IP的設置主機IP

vi /etc/sysconfig/network-scripts/ifcfg-eth0

裏面大概長這樣：
DEVICE=eth0
TYPE=Ethernet
UUID=1c81710f-f99e-4f6e-a3fa-7c8bb20b0xxx
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none
HWADDR=00:0C:29:28:C5:52
IPADDR=192.168.x.xxx
PREFIX=24
GATEWAY=192.168.x.x
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System eth0"

2.重啓網卡

service network restart

3.修改主機名

vi /etc/sysconfig/network

4.關閉防火牆

chkconfig iptables off
service iptables stop

5.關閉SELinux（centOS需要）

vi /etc/selinux/config
#修改SELINUX=disabled

6.配置 /etc/hosts 把主機都填進去

vi /etc/hosts

192.168.1.xxx bigdata1
192.168.1.xxx bigdata2
192.168.1.xxx bigdata3
192.168.1.xxx bigdata4

7.重啓機器
8.打通SSH免密碼登錄：
生成密鑰：ssh-keygen -t rsa
複製祕鑰到每臺機器：ssh-copy-id -i <用戶名>@<主機名>
8.安裝配置JDK1.8+
解壓到/usr/目錄下，配置profile

二、主節點配置

1.在主節點安裝配置mysql

2.登錄mysql數據庫
mysql -uroot -p密碼

3.創建所需庫

--創建hive數據庫
create database hive DEFAULT CHARSET latin1;

--集羣監控數據庫
create database amon DEFAULT CHARSET utf8;

--hue數據庫
create database hue DEFAULT CHARSET utf8;

--oozie數據庫
create database oozie default charset utf8;

--cm數據庫
create database cm default charset utf8;

--授權
grant all privileges on hive.* to 'scm'@'%' identified by 'cdh' with grant option;

grant all privileges on amon.* to 'scm'@'%' identified by 'cdh' with grant option;

grant all privileges on hue.* to 'scm'@'%' identified by 'cdh' with grant option;

grant all privileges on oozie.* to 'scm'@'%' identified by 'cdh' with grant option;

--遠程訪問->

grant all privileges on *.* to 'root'@'%' identified by 'zaq12wsx' with grant option;

flush privileges; 

4.主節點解壓安裝cloudera-manager-el6-cm5.13.3_x86_64.tar.gz
cloudera manager的目錄默認位置在/opt下，解壓：

tar -zxvf cloudera-manager-*.tar.gz;

將解壓後的目錄放到/opt目錄下。

5.爲Cloudera Manager 5建立數據庫

去MySql的官網下載JDBC驅動，找到mysql-connector-java-5.1.43-bin.jar，放到/opt/cm-5.9.0/share/cmf/lib/中

6.初始化cloudera manager數據庫配置
/opt/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh -h <mysql所在主機> mysql cm scm cdh

三、其他配置

1.在所有節點創建cloudera-scm用戶

useradd --system --home=/opt/cm-5.13.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

2.修改/opt/cm-5.13.3/etc/cloudera-scm-agent/config.ini中的server_host爲主節點的主機名。

vim /opt/cm-5.13.3/etc/cloudera-scm-agent/config.ini

3.同步Agent到其他節點

scp -r /opt/cm-5.13.3 bigdata1:/opt/
scp -r /opt/cm-5.13.3 bigdata2:/opt/
scp -r /opt/cm-5.13.3 bigdata3:/opt/
scp -r /opt/cm-5.13.3 bigdata4:/opt/

4.準備Parcels，用以安裝CDH5

將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中
相關的文件如下：
CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel
CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1
manifest.json

最後將CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1，重命名爲CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha，這點必須注意，否則，系統會重新下載文件。

5.相關啓動腳本

/opt/cm-5.13.3/etc/init.d/cloudera-scm-server start
/opt/cm-5.13.3/etc/init.d/cloudera-scm-agent start
<主節點都啓動、其他節點只啓動agent>

5.哦了，等一會打開瀏覽器
http://bigdata1:7180
按照步驟開始配置就行了