靈活管理Hadoop各發行版的運維利器 - vSphere Big Data Extensions

vSphere Big Data Extensions（BDE）提供了部署Hadoop多種廠商發行版的巨大靈活性，爲客戶提供三大價值：

1. 爲所支持的Hadoop版本提供調優的基礎架構，VMware和Hadoop發行版廠商彼此認證

2. 在統一虛擬化平臺上部署、運行和管理異構的Hadoop集羣，滿足多租戶的不同需求

3. 不必被單一Hadoop發行版廠商所綁定，保護投資回報

管理Hadoop發行版

Apache Hadoop 1.2是開源社區的原生Hadoop，BDE已經包含Apache Hadoop的安裝包，用戶無需額外下載和配置，可以直接創建基於Apache Hadoop版本的Hadoop集羣。

Serengeti CLI提供了命令行，查看當前支持哪些Hadoop發行版：

distro list

這個命令返回當前BDE實例管理着哪些Hadoop發行版，包括髮行版的名稱，廠商，版本號，所支持Hadoop相關組件, 和是否支持HVE等信息。如下圖所示：

用戶也可以通過BDE的Web UI來查看所有已添加的Hadoop發行版

1. 打開vCenter Server Web Client，並登錄

2. 左邊導航欄，點擊Big Data Extensions

3. 在Inventory Lists下，點擊Hadoop Distributions查看結果

如下圖所示：

通過上面的BDE的例子發現，其不僅支持Apache Hadoop 1.2，還支持其它商業Hadoop發行版。命令行和UI查看的方法不同，但結果是一致的。

讀者會問：BDE默認發行並安裝Apache Hadoop 1.2這個社區的發行版，其它Hadoop發行版是哪裏來的？如何去管理它們？我們要從兩個層面去理解這個問題：

1. 產品發行層面：除了Apache Hadoop，其餘Hadoop發行版都是廠家支持的商業發行版需要軟件發行許可，BDE作爲VMware商業產品，目前不支持綁定發佈。但BDE提供了命令行管理工具，讓用戶有辦法自己部署和配置Hadoop商業發行版。

2. 發行版管理層面：BDE作爲一個管理平臺能夠管理多種商業發行版，並且創建和管理異構的Hadoop集羣。VMware已先後與Greenplum, Pivotal, Cloudera和MapR等大數據廠商宣佈合作關係，在vSphere虛擬化環境下運行這些廠商Hadoop集羣也獲得了官方的認證。

下面的表格是官方BDE 1.0 Beta所能支持的發行版本和部署方式：

發行版本	縮略名	廠商（社區）	部署方式
Apache  Hadoop 1.2	Apache	Apache社區	Tarball
GPHD 1.2	GPHD	Pivotal	Tarball
Pivotal HD 1.0	PHD	Pivotal	Yum
Hortonworks  1.3	HDP	Hortonworks	Tarball
CDH3 Update  6	CDH3u6	Cloudera	Tarball
CDH 4.2  MapReduce v1	CDH4	Cloudera	Yum
CDH 4.2 YARN	CDH4	Cloudera	Yum
MapR 2.1.3	MapR	MapR	Yum

在接下來的博文裏，會以具體Hadoop發行版爲實例來展示在BDE中，如何靈活部署新的Hadoop發行版，並創建相應的Hadoop集羣：

• 《大數據虛擬化實例：Tarball方式部署Hadoop發行版》

如有任何問題，您可以發郵件至[email protected]。

關於vSphere Big Data Extensions:

VMware vSphere Big Data Extensions（簡稱BDE）基於vSphere平臺支持大數據和Hadoop作業。BDE以開源Serengeti項目爲基礎，爲企業級用戶提供一系列整合的管理工具，通過在vSphere上虛擬化Hadoop，幫助用戶在基礎設施上實現靈活、彈性、安全和快捷的大數據部署、運行和管理工作。瞭解更多關於VMware vSphere Big Data Extensions的信息，請參見http://www.vmware.com/hadoop。

作者簡介：

張君遲

VMware大數據解決方案項目經理

目前負責VMware大數據解決方案的管理和市場工作。曾擔任VMware數據庫管理產品vFabric Data Director產品經理，對虛擬化、雲計算、關係型數據庫和大數據等企業產品、技術方案和市場有深入的理解和實戰經驗。在此之前，就職於Microsoft從事分佈式系統的產品管理和研發工作。