六臺Debian主機安裝搭建Cloudera Manager 5和CDH5(版本5.9.0)大數據集羣

系統環境:
六臺虛擬主機
操作系統:Debian 7(8核,32G,512G硬盤)
Cloudera Manager:5.9.0
CDH: 5.9.0

192.168.0.xx cdh1
192.168.0.xx cdh2
192.168.0.xx cdh3
192.168.0.xx cdh4
192.168.0.xx cdh5
192.168.0.xx cdh6

相關資源下載:
1.Cloudera Manager下載地址:
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-wheezy-cm5.9.0_amd64.tar.gz

  • cloudera-manager-wheezy-cm5.9.0_amd64.tar.gz

(wheezy是Debian系統版本,對應好你自己的系統)

2.CDH安裝包地址:
http://archive.cloudera.com/cdh5/parcels/5.9.0/

同樣對應操作系統下載:

  • CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel
  • CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha1
  • manifest.json

一、系統環境搭建(詳細步驟略)

大概就是:
1.設置主機IP
2.重啓網卡
3.修改主機名
4.關閉防火牆
5.關閉SELinux(centOS需要)
6.配置 /etc/hosts 把主機都填進去
7.重啓機器
8.打通SSH免密碼登錄:
生成密鑰:ssh-keygen -t rsa
複製祕鑰到每臺機器:ssh-copy-id -i <用戶名>@<主機名>
11.安裝配置JDK1.7+

二、主節點配置

1.在主節點安裝配置mysql

2.登錄mysql數據庫

mysql -uroot -p密碼

3.創建所需庫

--創建hive數據庫
create database hive DEFAULT CHARSET latin1;

--集羣監控數據庫
create database amon DEFAULT CHARSET utf8;

--hue數據庫
create database hue DEFAULT CHARSET utf8;

--oozie數據庫
create database oozie default charset utf8;

--授權
grant all privileges on hive.* to 'scm'@'%' identified by 'cdh' with grant option;

grant all privileges on amon.* to 'scm'@'%' identified by 'cdh' with grant option;

grant all privileges on hue.* to 'scm'@'%' identified by 'cdh' with grant option;

grant all privileges on oozie.* to 'scm'@'%' identified by 'cdh' with grant option;

flush privileges; 

4.主節點解壓安裝cloudera-manager-wheezy-cm5.9.0_amd64.tar.gz
cloudera manager的目錄默認位置在/opt下,解壓:

tar -zxvf cloudera-manager-wheezy-*.tar.gz;

將解壓後的目錄放到/opt目錄下。

5.爲Cloudera Manager 5建立數據庫

去MySql的官網下載JDBC驅動,找到mysql-connector-java-5.1.33-bin.jar,放到/opt/cm-5.9.0/share/cmf/lib/中

6.初始化cloudera manager數據庫配置

/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm scm cdh -uroot -p密碼 –-scm-host cdh1 scm scm scm

三、其他配置

1.在所有節點創建cloudera-scm用戶

useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

2.修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的server_host爲主節點的主機名。

vim /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini

3.同步Agent到其他節點

scp -r /opt/cm-5.9.0 cdh2:/opt/
scp -r /opt/cm-5.9.0 cdh3:/opt/
scp -r /opt/cm-5.9.0 cdh4:/opt/
scp -r /opt/cm-5.9.0 cdh5:/opt/
scp -r /opt/cm-5.9.0 cdh6:/opt/

4.準備Parcels,用以安裝CDH5

將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中(parcel-repo需要手動創建)。
相關的文件如下:
CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel
CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha1
manifest.json

最後將CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha1,重命名爲CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha,這點必須注意,否則,系統會重新下載CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel文件。

5.相關啓動腳本

/opt/cm-5.9.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start
<主節點都啓動、其他節點只啓動agent>

5.哦了,等一會打開瀏覽器
http://cdh1:7180
按照步驟開始配置就行了

四、遇到的問題

1.安裝過程中安裝失敗或其他原因發現有部分主機顯示受管不能添加組件

先停止所有服務。

/opt/cm-5.9.0/etc/init.d/cloudera-scm-server stop
/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent stop

刪除Agent節點的UUID

rm -rf /opt/cm-5.9.0/lib/cloudera-scm-agent/*

清空主節點CM數據庫
進入主節點的Mysql數據庫,然後
drop database cm;

在主節點上重新初始化CM數據庫

/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm scm cdh -uroot -pcecgw-scm-host cdh1 scm scm scm

啓動所有服務

/opt/cm-5.9.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start

2.Impala 告警:
/usr/bin/impala-shell:行47: 警告:setlocale: LC_CTYPE: 無法改變區域選項 (en_US.UTF-8): 沒有那個文件或目錄

安裝en_US.UTF-8語言:
dpkg-reconfigure locales

在選項中選擇en-US.UTF-8 按空格選中。然後簡單的按 ok 鍵就好了

PS:最後來張安裝好的圖炫一下,哈哈

這裏寫圖片描述

這裏寫圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章