相比於手動搭建集羣,使用Ambari或者CDH的必要性

1. Ambari簡介

Apache Ambari是一種基於Web的工具,支持Apache Hadoop集羣的供應、管理和監控。Ambari已支持大多數Hadoop組件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5個頂級hadoop管理工具之一。Ambari能夠安裝安全的(基於Kerberos)Hadoop集羣,以此實現了對Hadoop 安全的支持,提供了基於角色的用戶認證、授權和審計功能,併爲用戶管理集成了LDAP和Active Directory。

2. CDH簡介 

• Cloudera's Distribution, including Apache Hadoop
• 是Hadoop衆多分支中的一種,由Cloudera維護,基於穩定版本的Apache Hadoop構建
• 提供了Hadoop的核心
– 可擴展存儲
– 分佈式計算
• 基於Web的用戶界面

CDH的優點  

• 版本劃分清晰
• 版本更新速度快
• 支持Kerberos安全認證
• 文檔清晰
• 支持多種安裝方式(Cloudera Manager方式

3. 手動方式與使用工具的比較

• 1000臺服務器的集羣,最少要花費多長時間來搭建好Hadoop集羣,包括Hive、Hbase、Flume、Kafka、Spark等等
• 只給你一天時間,完成以上工作?
• 對於以上集羣進行hadoop版本升級,你會選擇什麼升級方案,最少要花費多長時間?

• 新版本的Hadoop,與Hive、Hbase、Flume、Kafka、Spark等等兼容?

大數據集羣管理方式分爲手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)

手工部署呢,需配置太多參數,但是,好理解其原理,建議初學這樣做,能學到很多。該方式啊,均得由用戶執行,細節太多,切當設計多個組件時,用戶須自己解決組件間版本兼容問題。

工具部署呢,比如Ambari或Cloudera Manger。(當前兩大最主流的集羣管理工具,前者是Hortonworks公司,後者是Cloudera公司)使用工具來,可以說是一鍵操作,難點都在工具Ambari或Cloudera Manger本身部署上。

手工方式和工具方式比較:

4. Cloudera Manager與Ambari的比較

詳細對比情況如下:

4.1. 出版商

hortonworks研發了Ambari和hdp的大數據分析集成平臺
cloudera研發了cloudera manger和cdh大數據分析集成平臺


4.2. 穩定性

cloudera相對來說比較穩定
ambari相對來說不穩定(頁面打開速度慢)


4.3. 資源消耗

cloudera manager的server端Xmx是2G,agent是1G,但是有host monitor和service monitor總共大概1G
ambari的server端Xmx是2G,metric的ams和hbase的env大概也就是2G


4.4 集羣重啓

cloudera支持滾動重啓(hdfs需要設計成ha,才能滾動重啓)
ambari支持滾動重啓(hdfs需要設計成ha,才能滾動重啓)


4.5. 二次開發

cloudera不支持
ambari支持


4.6. 服務版本

cloudera較老
ambari較新


4.7. 服務集成性

cloudera較弱
ambari較強,支持es、redis、presto、kylin等


4.8. 體驗效果

cloudera好
ambari相對差


4.9. 安裝過程

cloudera複雜
ambari簡單


4.10. 郵件報警

cloudera支持不好
ambari支持很好


4.11. 安裝包

cloudera是parcel包
ambari是rpm包

4.12. 集羣升級(一般來講不要輕易升級集羣)

cloudera不支持滾動升級服務

ambari支持滾動升級服務(這個是ambari的優點,hdfs必須是ha)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章