Ambari安裝指南 頂 原

(WJW)Ambari安裝指南

     Ambari 跟 Hadoop 等開源軟件一樣,也是 Apache Software Foundation 中的一個項目,並且是頂級項目.目前最新的發佈版本是 2.1.2.
就 Ambari 的作用來說,就是創建,管理,監視 Hadoop 的集羣,但是這裏的 Hadoop 是廣義,指的是 Hadoop 整個生態圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而並不僅是特指 Hadoop.
用一句話來說,Ambari 就是爲了讓 Hadoop 以及相關的大數據軟件更容易使用的一個工具.
     說到這裏,大家就應該明白什麼人最需要 Ambari 了.那些苦苦花費好幾天去安裝,調試 Hadoop 的初學者是最能體會到 Ambari 的方便之處的.
而且,Ambari 現在所支持的平臺組件也越來越多,例如流行的 Spark,Storm 等計算框架,以及資源調度平臺 YARN 等,我們都能輕鬆地通過 Ambari 來進行部署.
     Ambari 自身也是一個分佈式架構的軟件,主要由兩部分組成:Ambari Server 和 Ambari Agent.簡單來說,用戶通過 Ambari Server 通知 Ambari Agent 安裝對應的軟件;
Agent 會定時地發送各個機器每個軟件模塊的狀態給 Ambari Server,最終這些狀態信息會呈現在 Ambari 的 GUI,方便用戶瞭解到集羣的各種狀態,並進行相應的維護.

---

[X] 安裝環境:

• 系統版本:CentOS 6.3 x86_64
• JAVA版本:JDK-1.7.x
• 確保機器的 Python 版本大於或等於2.6
• 服務器列表:

192.168.68.17 T1.youyuan.cn #Ambari Server,namenode1,resourcemanager

192.168.68.18 T2.youyuan.cn #Ambari Agent,namenode2,journalnode1,datanode1,nodemanager1

192.168.68.20 T3.youyuan.cn #Ambari Agent,journalnode2,datanode2,nodemanager2

192.168.68.21 T4.youyuan.cn #Ambari Agent,journalnode3,datanode3,nodemanager3

• SSL

需要openssl的1.0以上版本!

yum install openssl
或者
yum upgrade openssl

• JDK

建議安裝Sun的JDK1.7版本! 安裝完畢並配置java環境變量,在/etc/profile末尾添加如下代碼:
export JAVA_HOME=/usr/java/default
export PATH=$JAVA_HOME/bin:$PATH
保存退出即可,然後執行source /etc/profile生效.在命令行執行java -version 如下代表JAVA安裝成功.

• ssh

需要配置各個節點的免密碼登錄!
首先在自己機器上使用ssh-keygen -t rsa
會要求輸入密碼(必須爲空),回車幾次,然後會在HOME目錄下生成.ssh文件夾,
裏面有私鑰和公鑰,公鑰爲~/.ssh/id_rsa.pub,私鑰爲~/.ssh/id_rsa.
配置本地的免登錄 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
現在你需要將你的公鑰拷貝到服務器上,如果你的系統有ssh-copy-id命令,拷貝會很簡單:ssh-copy-id 用戶名@服務器名, 否則,你需要手動將你的私鑰拷貝到服務器上的~/.ssh/authorized_keys文件中!scp ~/.ssh/authorized_keys T1.youyuan.cn:/root/.ssh/

• NTP

集羣的時鐘要保證基本的一致.稍有不一致是可以容忍的,但是很大的不一致會 造成奇怪的行爲. 運行 NTP 或者其他什麼東西來同步你的時間.
如果你查詢的時候或者是遇到奇怪的故障,可以檢查一下系統時間是否正確!

echo "server 192.168.0.2" >> /etc/ntp.conf  
chkconfig ntpd on  
service ntpd restart  
ntpq -p  

• ulimit和nproc

Hdaoop會在同一時間使用很多的文件句柄.大多數linux系統使用的默認值1024是不能滿足的,修改/etc/security/limits.conf文件爲:

      *               soft    nproc   16384
      *               hard    nproc   16384  
      *               soft    nofile  65536  
      *               hard    nofile  65536  

---

• 修改 192.168.68.17,192.168.68.18,192.168.68.20,192.168.68.21 的etc/hosts文件 在文件最後添加:

192.168.68.17  T1.youyuan.cn
192.168.68.18  T2.youyuan.cn
192.168.68.20  T3.youyuan.cn 
192.168.68.21  T4.youyuan.cn

---

• 禁止 PackageKit

pkill -9 packagekitd
vim /etc/yum/pluginconf.d/refresh-packagekit.conf

將內容改爲enabled=0

---

[X] 安裝Ambari Server

在T1上操作

[1] 添加yum資源庫:

cd /tmp
wget -O ambari.repo http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.2/ambari.repo  
cp ambari.repo /etc/yum.repos.d  
yum install epel-release

[2] 校驗YUM倉庫ambari:

由於公司安全機制,這個地方可能不會安裝成功
執行yum repolist,如果有ambari字符串的話,就可以開始安裝了!

[3.1] YUM在線安裝: ambari-server

yum install ambari-server

實驗證明,網速巨慢,耐心...,等待安裝完成!

[3.2] YUM離線本地安裝: ambari-server

• 先找一個網絡好的環境,配置/etc/yum.conf文件,修改keepcache爲1,來保留安裝包;再通過yum install ambari-server安裝成功後後;把相關的rpm文件複製到需要離線安裝的環境上;例如:

ambari-server-2.1.2-377.x86_64.rpm
ambari-agent-2.1.2-377.x86_64.rpm
postgresql-8.4.20-3.el6_6.x86_64.rpm
postgresql-devel-8.4.20-3.el6_6.x86_64.rpm
postgresql-libs-8.4.20-3.el6_6.x86_64.rpm
postgresql-server-8.4.20-3.el6_6.x86_64.rpm

• 再執行yum localhost ./postgresql-8.4.20-3.el6_6.x86_64.rpm ./postgresql-server-8.4.20-3.el6_6.x86_64.rpm ./postgresql-libs-8.4.20-3.el6_6.x86_64.rpm ./postgresql-devel-8.4.20-3.el6_6.x86_64.rpm ./ambari-server-2.1.2-377.x86_64.rpm來進行離線安裝!

[5] 配置AMBARI-SERVER

##指定JAVA_HOME
ambari-server setup -j /usr/java/default
##不指定JAVA_HOME執行
ambari-server setup

選擇n會按默認配置
數據庫類型：postgresql
數據庫：ambari
用戶名：ambari
密碼：bigdata
等待安裝完成

[6] 啓動AMBARI-SERVER

##啓動:
ambari-server start
##查看:
ps -ef | grep Ambari
##停止:
ambari-server stop
##幫助
ambari-server help

然後訪問：http://T1.youyuan.cn:8080
不出意外的話就安裝完成了
用戶名/密碼:admin/admin

[6] 安裝AMBARI-AGENT

在網絡環境不好的地方或者sshd的端口不是標準的22時,可以在每個agent節點上先手工安裝AMBARI-AGENT

yum install ambari-agent

備註:

• Ambari安裝的環境路徑: 各臺機器的安裝目錄:

/usr/lib/hadoop
/usr/lib/hbase
/usr/lib/zookeeper
/usr/lib/hcatalog
/usr/lib/hive 

• Log路徑, 這裏需要看出錯信息都可以在目錄下找到相關的日誌

/var/log/hadoop
/var/log/hbase

• 配置文件的路徑

/etc/hadoop
/etc/hbase
/etc/hive

• HDFS的存儲路徑

/hadoop/hdfs

FAQ

• 主機名格式必須是hoastname.domain,如T1.youyuan.cn
• Zookeeper-Agent端修改Server指向的HOSTNAME, /etc/ambari-agent/conf/ambari-agent.ini,如修改過主機hostname
• 安裝失敗後或重新安裝先執行ambari-server reset 後 ambari-setup
• 最後一步安裝可能會失敗,多數原因是下載包錯誤引起的,可重複安裝直到成功,本人反覆幾個最終成功了,網絡,網絡,尤其就朝民,各種干擾!