CDH5.9安裝

注：本安裝說明是本人綜合網上的安裝文檔參考得到的，可能因環境的不同，或者其他原因坑比較多。

參考文檔

http://www.linuxidc.com/Linux/2017-01/139518.htm

http://blog.csdn.net/u010022051/article/details/51205765

1、需要準備的文件

cloudera-manager-el6-cm5.9.0_x86_64.tar.gz

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

manifest.json

hostbname

192.168.17.xx hadoop-master-xiaoyacrm

192.168.17.xx hadoop-worer4-xiaoyacrm

192.168.17.xx hadoop-worer3-xiaoyacrm

192.168.17.xx hadoop-worer2-xiaoyacrm

192.168.17.xx hadoop-worer1-xiaoyacrm

2、master到各個節點無密碼登陸

ssh-keygen -t rsa

然後在主節點執行以下命令：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

scp文件到所有datenode節點：

scp ~/.ssh/authorized_keys root@datanode1:~/.ssh/

然後輸入密碼即可，以後再到其他機器就不需要密碼額。

分發hostname

scp /etc/hosts root@hadoop-worer4-xiaoyacrm:/etc/

scp /etc/hosts root@hadoop-worer3-xiaoyacrm:/etc/

scp /etc/hosts root@hadoop-worer2-xiaoyacrm:/etc/

scp /etc/hosts root@hadoop-worer1-xiaoyacrm:/etc/

 

3、關閉防火牆(每個節點)

4、設置swap空間

vi /etc/sysctl.conf
末尾加上
vm.swappiness=10

使用scp批處理拷貝/etc/sysctl.conf到各節點

使用ssh批處理生效

sysctl -p

5、java安裝

   解壓並創建軟連接

tar -zxvf jdk-8u112-linux-x64.tar.gz -C /opt/program/
ln -s /opt/program/jdk1.8.0_112/ /opt/java

  設置環境變量

vi /etc/profile
末尾添加
export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH

  批處理拷貝

scp  /opt/program/jdk1.8.0_112/ /opt/program/jdk1.8.0_112/
scp  /etc/profile /etc/

  生效

source /etc/profile

   設置全局變量

echo "JAVA_HOME=/opt/java" >> /etc/environment




6、安裝Mysql

yum安裝Mysql

yum install -y mysql mysql-server mysql-devel 

設置隨系統啓動

chkconfig mysqld on

啓動mysql

service mysqld start

設置root用戶密碼

mysql
USE mysql; 
UPDATE user SET Password=PASSWORD('你的密碼') WHERE user='root'; 
FLUSH PRIVILEGES; 
exit;

設置允許遠程登錄

mysql -u root -p 
你的密碼
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '你的密碼' WITH GRANT OPTION; 

創建CM用的數據庫

安裝集羣時按需創建，詳見第七章第13步

--hive數據庫
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
--oozie數據庫
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
--hue數據庫
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

這裏還需要一個庫：Reports Manager 

--Reports Manager 

create database report DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

否則在出現校驗配置文件需要校驗的時候會報錯，我就是被這個坑了挺久的，當時修改配置文件有特殊字符，後面一直報錯

安裝CM

1、解壓到/opt目錄下，不能解壓到其他地方，因爲cdh5的源會默認在/opt/cloudera/parcel-repo尋找，而CM可以按照個人喜好安裝

tar -zxvf cloudera-manager-el6-cm5.9.0_x86_64.tar.gz -C /opt/
mv /opt/cm-5.9.0/ /opt/program/
ln -s /opt/program/cm-5.9.0/ /opt/cm

2、將CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel 和 CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1移動到/opt/cloudera/parcel-repo

　　這樣安裝時CM就能直接找到了。

mv CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1 /opt/cloudera/parcel-repo/

3、將CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1重命名爲CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha(去掉結尾的1)

　　非常重要。我試安裝時，這點遺漏了，導致安裝CDH的時候一直刷不出5.9版本。

通過日誌發現，沒有manifest.json就會去下載，不能訪問外網就報錯了，但不影響安裝CDH，還是mv一下吧

   mv manifest.json /opt/cloudera/parcel-repo/

   cd /opt/cloudera/parcel-repo/
   mv CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1 CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha

4、修改配置文件中的server_host

vi /opt/cm/etc/cloudera-scm-agent/config.ini

server_host=master

5、將mysql的JDBC驅動放入CM的lib目錄下

JDBC驅動下載：http://dev.mysql.com/downloads/connector/j/

gz和zip都無所謂，最終要的是裏面的jar包。

解壓獲得mysql-connector-java-5.1.40-bin.jar上傳到集羣。

mv mysql-connector-java-5.1.40-bin.jar /opt/cm/share/cmf/lib/

6、爲CM創建數據庫

/opt/cm/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p你的密碼 --scm-host localhost scm scm scm

7、爲每個節點創建cloudera-scm用戶

useradd --system --home=/opt/cm/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

接下來其實可以直接在master上啓動服務安裝了，但因爲其它節點沒有CM，最後還是通過遠程的yum在線下載再安裝，我這設置了內部網絡，其它節點是訪問不了外網的，所以拷貝CM到其它節點進行完全離線安裝。

8、拷貝CM到每個節點

./scp.sh /opt/program/cm-5.9.0/ /opt/program/cm-5.9.0/
./ssh.sh "ln -s /opt/program/cm-5.9.0/ /opt/cm"

9、在master上啓動CM的service服務

/opt/cm/etc/init.d/cloudera-scm-server start

10、在所有你想作爲worker的節點上啓動CM的agent服務

/opt/cm/etc/init.d/cloudera-scm-agent start

安裝CDH

http://hadoop-master-xiaoyacrm:7180/上開始安裝CDH

接下來CM安裝parcel包，圖中提示host is in bad health，這個可以忽略，多等一會就會恢復正常。

一路繼續