CDH5.2+CM5.2+impala2+Spark1.1 集羣搭建基礎環境準備

測試集羣簡介:一共有4臺機器:10.10.244.136、10.10.244.137、10.10.244.138、10.10.244.139。10.10.244.136是管理節點,另外3臺是存儲節點。準備工作詳情如下:

1 在四臺機器上安裝CentOS release 6.5 (Final)  64位(管理節點需要安裝Mysql\Postgresql\redhat_lsb)

2 CDH5.2(包含了Spark1.1) YUM源搭建、CM5.2 YUM源搭建、impala2 YUM 源搭建

    CDH5.2倉庫地址:http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/

    CM5.2倉庫地址:http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/

    impala2倉庫地址:http://archive-primary.cloudera.com/impala/redhat/6/x86_64/impala/2/

3 關閉4臺機器的selinux

    cd /etc/selinux; vi config;SELINUX=disabled(找到它,修改成這樣)

4 關閉4臺機器的iptables(防火牆,CentoOS7.0 中就不是它了,好像是firewalk)

   chkconfig --level 35 iptables off;

5 修改四臺機器的hostname分別爲master01.pmsc.gov.cn、datanode01.pmsc.gov.cn、datanode02.pmsc.gov.cn、 datanode03.pmsc.gov.cn

    cd /etc/sysconfig; vi network;HOSTNAME=master01.pmsc.gov.cn(類似於這樣修改)

6 在4臺機器分別創建cloudera用戶

   groupadd cloudera;useradd -g cloudera cloudera;passwd cloudera;

7 讓4臺機器上的cloudera用戶可以無密碼獲得sudo權限

    cd /etc;chmod u+w sudoers;vi sudoers;cloudera    ALL=(ALL)   ALL;%cloudera    ALL=(ALL)NOPASSWD : ALL(這兩句話添加在root    ALL=(ALL)       ALL下方);chmod u-w sudoers

8 在4臺機器間配置cloudera用戶的SSH無密碼通信

   cd /etc;vi hosts;添加如下內容

   10.10.244.136 master01.pmsc.gov.cn
   10.10.244.137 datanode01.pmsc.gov.cn
   10.10.244.138 datanode02.pmsc.gov.cn
   10.10.244.139 datanode03.pmsc.gov.cn
   10.10.244.129 archive.cloudera.com  (YUM源本地機器)

    cd /home/cloudera/.ssh;rm -rf *;ssh-keygen -t rsa -P '';cat id_rsa.pub>>authorized_keys(在4臺機器上執行相同的操作,合併authorized_keys文件內容,並覆蓋每個機器上的authorized_keys文件);chmod 600 authorized_keys;

9 在4臺機器之間做時鐘同步,保證時間的一致性(136 自己同步自己,其它機器同步136的時間。)

    136上的配置(/etc/ntp.conf)

            #server 0.centos.pool.ntp.org iburst
            #server 1.centos.pool.ntp.org iburst
            #server 2.centos.pool.ntp.org iburst
            #server 3.centos.pool.ntp.org iburst
            server 127.127.1.0
            fudge 127.127.1.0 stratum 8

    137\138\139上的配置(/etc/ntp.conf)

            #server 0.centos.pool.ntp.org iburst
            #server 1.centos.pool.ntp.org iburst
            #server 2.centos.pool.ntp.org iburst
            #server 3.centos.pool.ntp.org iburst
            server 10.10.244.136
            fudge 10.10.244.136 stratum 8

    136\137\138\139設置ntpd服務開機自啓動

             sudo chkconfig ntpd on

    137\138\139上在cloudera用戶下每天同步一次時間(使用crontab)

              30 21 * * * sudo ntpdate 10.10.244.131

10 在4臺機器上安裝JDK(最小版本1.7.0_67)

      sudo vi /etc/profile;添加如下配置

      export JAVA_HOME=/usr/local/jdk1.7.0_71
      export PATH=$JAVA_HOME/bin:$PATH
      export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

11 Mysql數據的安裝配置

      默認字符編碼設置爲utf-8:

            [mysqld]
            character-set-server=utf8
             # Disabling symbolic-links is recommended to prevent assorted security risks
             symbolic-links=0
            [client]
            port = 3306
            socket = /var/lib/mysql/mysql.sock
            default-character-set=utf8
            [mysql]
            no-auto-rehash
            default-character-set=utf8

      修改root賬戶密碼:update user set Password = Password('test') where Host = '%' and User = 'root';flush privileges;

      開啓遠程登錄:update user set host = ‘%’ where user = ‘root’;flush privileges;

      修改數據文件存儲位置:

             [mysqld]
             datadir=/home/mysql

             socket=/home/mysql/mysql.sock

      設置開機自啓動:sudo chkconfig mysqld on


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章