企業大數據平臺三：企業大數據平臺安裝

企業大數據平臺三：企業大數據平臺安裝

標籤（空格分隔）： 企業大數據平臺

---

一，CM 5.x介紹

分佈式：
–主節點：Cloudera Manager Server
–從節點：Cloudera Manager Agent
–數據庫:PostgreSQl

安裝方式：
一：在線安裝（聯網）–rpm
二：離線安裝
—-rpm包，搭建本地源

http://archive.cloudera.com/cm5/redhat/5/x86_64/cm/5.3.6/RPMS/x86_64/

—-tar安裝
對於新手，不推薦
對於重要的項目和長久的，推薦

二，CM安裝

1，搭建本地yum源–基於http方式

–啓動http服務

sudo service httpd start

–apache的配置目錄：/etc/www/html

cd /var/www/html
sudo mkdir cm-5.3.6

–配置http服務

tar -zxf tar -zxf cm5.3.6-centos6.tar.gz 

sudo cp ./*.rpm /var/www/html/cm-5.3.6/

2,生成repodata文件夾
–安裝三個軟件

sudo rpm -ivh deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
sudo rpm -ivh python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
sudo rpm -ivh createrepo-0.9.9-18.el6.noarch.rpm

–生成repodata

cd /var/www/html/cm-5.3.6
sudo createrepo .

3,配置使用本地源

cd /etc/yum.repos.d/
mkdir bak
mv *.repo bak

sudo touch myrepo.repo
sudo vi myrepo.repo
------
[myrepo]
name = myrepo
baseurl = http://cdh001.cluster.com/cm-5.3.6/
enabled = 1
gpgcheck = 0
------

4,安裝cm需要支持的數據庫PostgreSQL

5，安裝CM 5.3.6

chmod u+x cloudera-manager-installer.bin 

./cloudera-manager-installer.bin --skip_repo_package=1

http://cdh001.cluster.com:7180/cmf/login

6,安裝cdh 5.3.6

將parcel安裝文件放到/opt/cloudera/parcel-repo目錄下

//重新啓動cm
sudo service cloudera-scm-server status
sudo service cloudera-scm-server restart

7,添加主機
–配置parcels和agent源
–安裝agent
–從cms下載cdh parcel包
–在每臺機器上進行解壓安裝

--> Finished Dependency Resolution 
Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) 
Requires: fuse-libs 
Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) 
Requires: redhat-lsb 
Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) 
Requires: cyrus-sasl-gssapi 
Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) 
Requires: portmap 
Error: Package: cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 (cloudera-manager) 
Requires: fuse 
You could try using --skip-broken to work around the problem 
You could try running: rpm -Va --nofiles --nodigest 
END (1) 
remote package cloudera-manager-agent could not be installed, giving up waiting for rollback request 


換爲國內源，安裝 sudo yum install redhat-lsb -y， sudo yum install -y cyrus-sasl-gssapi portmap,sudo yum install fuse-libs fuse
$ vi /etc/yum.repos.d/163.repo    #如果沒有這個文件，新建一個，切記：$releasever被修改爲了6
[base]
name=CentOS-$releasever - Base - 163.com
baseurl=http://mirrors.163.com/centos/6/os/$basearch/
enabled=1
gpgcheck=0

[updates]
name=CentOS-$releasever - Updates - 163.com
baseurl=http://mirrors.163.com/centos/6/updates/$basearch/
enabled=1
gpgcheck=0

[extras]
name=CentOS-$releasever - Extras - 163.com
baseurl=http://mirrors.163.com/centos/6/extras/$basearch/
enabled=1
gpgcheck=0

[root@server2 yum.repos.d]# yum clean all
[root@server2 yum.repos.d]# yum makecache    #生成緩存
[root@server2 yum.repos.d]# yum install redhat-lsb cyrus-sasl-gssapi portmap fuse-libs fuse -y
至此，CM離線安裝已完成！
注意：如果你和我一樣是用筆記本虛擬機搭建，可能會出現內存不夠，導致CM掛掉情況請重啓CM服務，/etc/init.d/cloudera-scm-server start，/etc/init.d/cloudera-scm-agent start，不得不讚嘆，cloudera的強大，你啓動CM服務後，文件繼續斷點開始分發！而不用重新開始。

三，添加集羣

四，問題解決

一：
Cloudera 建議將 /proc/sys/vm/swappiness 設置爲 0。當前設置爲 60。使用 sysctl 命令在運行時更改該設置並編輯 /etc/sysctl.conf 以在重啓後保存該設置。您可以繼續進行安裝，但可能會遇到問題，Cloudera Manager 報告您的主機由於交換運行狀況不佳。以下主機受到影響： 
bigdata-cdh01.ibeifeng.com
sudo sysctl -w vm.swappiness=0
echo "vm.swappiness=0" >> /etc/sysctl.conf 

二：
已啓用“透明大頁面”，它可能會導致重大的性能問題。版本爲“CentOS release 6.4 (Final)”且發行版爲“2.6.32-358.el6.x86_64”的 Kernel 已將 enabled 設置爲“[always] never”，並將 defrag 設置爲“[always] never”。請運行“echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此設置，然後將同一命令添加到一個 init 腳本中，如 /etc/rc.local，這樣當系統重啓時就會予以設置。或者，升級到 RHEL 6.5 或更新版本，它們不存在此錯誤。將會影響到以下主機： 
bigdata-cdh01.ibeifeng.com
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

三，解決時間同步問題
1：
touch sync_date.sh
----
/sbin/service ntpd stop
/usr/sbin/ntpdate cdh.cluster.com
/sbin/service ntpd.start
----
2:
crontab -e
---------
*/10 * * * * /bin/sh /opt/sync_date.sh
---------
service crond restart

四,配置java home
sudo vi /etc/profile
---
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export PATH=$PATH:$JAVA_HOME/bin
---

source /etc/profile