Centos7安裝CDH（1、環境配置）

1. CDH的下載

以CentOS7.5和CDH5.7.0舉例：

1.1. cm的tar包下載

下載地址：http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/cm5.7.0-centos7.tar.gz

 

請選擇需要的版本。

1.2. parcels包下載

下載地址：http://archive.cloudera.com/cdh5/parcels/5.7.0/

 

請選擇對應的版本，el7，並將後綴.sha1更改爲.sha。

1.3.安裝JDK（所有服務器都用）

1. 創建文件夾

   mkdir -p /usr/local/src/jdk

   cd /usr/local/src/jdk

    

2. 查看安裝程序

   rpm -qa | grep -i jdk

   若之前安裝過jdk，下次安裝一定把之前的刪除乾淨

3. 下載jdk包

   wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie"  http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

   vi /etc/resolv.conf，編輯dns服務器，nameserver 114.114.114.114（這是國內的dns服務器系統，還是比較好用的。谷歌的可以使用8.8.8.8）  

   如果報錯-bash: wget: command not found。執行命令

4. yum -y install wget

    

5. 解壓

   tar -zxvf jdk-8u131-linux-x64.tar.gz
   

   重命名

   mv jdk1.8.0_131  jdk1.8

    

6. 配置環境變量

   vi /etc/profile

   拉到最下面將以下代碼粘貼進去

   export JAVA_HOME=/usr/local/src/jdk/jdk1.8
   export PATH=$PATH:$JAVA_HOME/bin
   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

   wq保存退出執行以下命令讓它生效

   source /etc/profile

   java -version驗證是否生效

2. 準備工作，沒有特別說明所有服務器都要做

1. 主機重命名並配置hosts

   執行命令
   echo "bigdata0*.tfpay.com" > /etc/hostname
   echo "192.168.99.57    bigdata01.tfpay.com    bigdata01" >> /etc/hosts
   echo "192.168.99.58    bigdata02.tfpay.com    bigdata02" >> /etc/hosts
   echo "192.168.99.59    bigdata03.tfpay.com    bigdata03" >> /etc/hosts
   
   重啓
   reboot
   
   檢查，看看主機名稱是否更改
   hostname

    

2. 關閉防火牆，並重啓服務器使hostname和selinux的配置生效

   systemctl stop firewalld
   systemctl disable firewalld
   systemctl status firewalld
   sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
   reboot
   
   getenforce
   sestatus -v

    

3. 安裝NTP同步時間

   在所有節點都執行命令

   yum -y install ntp
   
   vi /etc/ntp.conf

     

   • 註釋掉所有server後 

   • 主節點加入:
     server ntp.api.gz iburst
     從節點加入：
     server 192.168.99.57 iburst
     
     
     添加完成所有節點執行：
     systemctl start ntpd
     systemctl enable ntpd

4. 安裝Mysql（主服務器做就可以）

   #安裝MySQL前先寫着系統自帶的數據庫
   rpm -qa |grep mariadb
   yum –y remove 查找出的數據庫
   
   #直接使用yum命令安裝MySQL
   yum install mysql
   yum install mysql-server
   yum install mysql-devel
   
   #此時安裝mysql-server時會出錯，應該先去官網下載再進行安裝
   wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
   rpm -ivh mysql-community-release-el7-5.noarch.rpm
   yum install mysql-community-server
   
   #重啓MySQL服務，並進入MySQL數據庫內部，此時不需要密碼就能進入
   service mysqld restart
   mysql -u root
   mysql> set password for 'root'@'localhost' =password('password');
   
   #遠程連接設置（後面的root爲密碼）
   grant all privileges on *.* to 'root'@'%' identified by 'root';
   flush privileges;
   
   #MySQL的安裝還可以參考如下網址
   https://www.cnblogs.com/starof/p/4680083.html
   https://www.cnblogs.com/fujiangong/p/5620050.html
   https://blog.csdn.net/u010936936/article/details/81939880

    

5. 配置SSH無密碼登陸

   #生產密鑰
   ssh-keygen -t rsa

   複製公鑰

   cd ~/.ssh/
   cp id_rsa.pub authorized_keys
   
   # 下面的命令是把其他主機的公鑰複製到本機
   ssh-copy-id -i bigdata01
   ssh-copy-id -i bigdata02
   ssh-copy-id -i bigdata03
   

    所有節點互相配置，自身不需配置，最後ssh其他節點直接進去則成功

6. 環境配置就完成了，下文配置CDH