盤點Hadoop生態圈：13個讓大象飛起來的開源工具

盤點Hadoop生態圈：13個讓大象飛起來的開源工具

發表於2014-01-02 10:32| 17212次閱讀| 來源CSDN| 42 條評論| 作者仲浩

大數據Hadoop開源

allowtransparency="true" frameborder="0" scrolling="no" src="http://hits.sinajs.cn/A1/weiboshare.html?url=http%3A%2F%2Fwww.csdn.net%2Farticle%2F2014-01-01%2F2817984-13-tools-let-hadoop-fly&type=3&count=&appkey=&title=%E5%80%9F%E5%8A%A9Google%E7%9A%84%E4%B8%89%E5%A4%A7%E8%AE%BA%E6%96%87%EF%BC%8CHadoop%E6%89%93%E5%BC%80%E4%BA%86%E4%BD%8E%E6%88%90%E6%9C%AC%E6%B5%B7%E9%87%8F%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E4%B9%8B%E9%97%A8%EF%BC%9B%E5%90%8C%E6%97%B6%EF%BC%8C%E5%80%9F%E5%8A%A9%E4%BA%86%E5%BC%80%E6%BA%90%E8%BF%90%E5%8A%A8%EF%BC%8CHadoop%E7%94%9F%E6%80%81%E5%9C%88%E5%BE%97%E4%BB%A5%E8%BF%85%E9%80%9F%E6%88%90%E7%86%9F%EF%BC%8C%E4%B9%9F%E5%82%AC%E7%94%9F%E4%BA%86%E5%A4%84%E7%90%86%E5%90%84%E7%A7%8D%E4%B8%9A%E5%8A%A1%E5%8F%8A%E6%95%B0%E6%8D%AE%E7%9A%84%E5%B7%A5%E5%85%B7%EF%BC%8C%E8%BF%99%E9%87%8C%E5%B8%A6%E5%A4%A7%E5%AE%B6%E5%9B%9E%E9%A1%BE2013%E5%B9%B4%E8%AE%A9%E5%A4%A7%E8%B1%A1%E9%A3%9E%E8%B5%B7%E6%9D%A5%E7%9A%8413%E7%A7%8D%E5%B7%A5%E5%85%B7%E3%80%82&pic=&ralateUid=&language=zh_cn&rnd=1426295516367" width="22" height="16">摘要：藉助Google的三大論文，Hadoop打開了低成本海量數據處理之門；同時，藉助了開源運動，Hadoop生態圈得以迅速成熟，也催生了處理各種業務及數據的工具，這裏帶大家回顧2013年讓大象飛起來的13種工具。

Hadoop是由Apache基金會開發的一個大數據分佈式系統基礎架構，最早版本是2003年原Yahoo! Doug Cutting根據Google發佈的學術論文研究而來。用戶可以在不瞭解分佈式底層細節的情況下，輕鬆地在Hadoop上開發和運行處理海量數據的應用程序。低成本、高可靠、高擴展、高有效、高容錯等特性讓Hadoop成爲最流行的大數據分析系統，然而其賴以生存的HDFS和MapReduce組件卻讓其一度陷入困境——批處理的工作方式讓其只適用於離線數據處理，在要求實時性的場景下毫無用武之地。因此，各種基於Hadoop的工具應運而生，本次爲大家分享Hadoop生態系統中最常用的13個開源工具，其中包括資源調度、流計算及各種業務針對應用場景。首先，我們看資源管理相關。

---

CSDN推薦：歡迎免費訂閱《Hadoop與大數據週刊》獲取更多Hadoop技術文獻、大數據技術分析、企業實戰經驗，生態圈發展趨勢。

---

資源統一管理/調度系統

在公司和機構中，服務器往往會因爲業務邏輯被拆分爲多個集羣，基於數據密集型的處理框架也是不斷涌現，比如支持離線處理的MapReduce、支持在線處理的Storm及Impala、支持迭代計算的Spark及流處理框架S4，它們誕生於不同的實驗室，並各有所長。爲了減少管理成本，提升資源的利用率，一個共同的想法產生——讓這些框架運行在同一個集羣上；因此，就有了當下衆多的資源統一管理/調度系統，比如Google的Borg、Apache的YARN、Twitter的Mesos（已貢獻給Apache基金會）、騰訊搜搜的Torca、 Facebook Corona（開源），本次爲大家重點介紹Apache Mesos及YARN：

1. Apache Mesos

代碼託管地址： Apache SVN

Mesos提供了高效、跨分佈式應用程序和框架的資源隔離和共享，支持Hadoop、 MPI、Hypertable、Spark等。

Mesos是Apache孵化器中的一個開源項目，使用ZooKeeper實現容錯複製，使用Linux Containers來隔離任務，支持多種資源計劃分配（內存和CPU）。提供Java、Python和C++ APIs來開發新的並行應用程序，提供基於Web的用戶界面來提查看集羣狀態。

2. Hadoop YARN

代碼託管地址： Apache SVN

YARN又被稱爲MapReduce 2.0，借鑑Mesos，YARN提出了資源隔離解決方案Container，但是目前尚未成熟，僅僅提供 Java 虛擬機內存的隔離。

對比MapReduce 1.x，YARN架構在客戶端上並未做太大的改變，在調用 API 及接口上還保持大部分的兼容，然而在YARN中，開發人員使用 ResourceManager、ApplicationMaster 與 NodeManager代替了原框架中核心的 JobTracker 和 TaskTracker。其中 ResourceManager 是一箇中心的服務，負責調度、啓動每一個 Job 所屬的 ApplicationMaster，另外還監控 ApplicationMaster 的存在情況；NodeManager負責 Container 狀態的維護，並向 RM 保持心跳。ApplicationMaster 負責一個 Job 生命週期內的所有工作，類似老的框架中 JobTracker。

Hadoop上的實時解決方案

前面我們有說過，在互聯網公司中基於業務邏輯需求，企業往往會採用多種計算框架，比如從事搜索業務的公司：網頁索引建立用MapReduce，自然語言處理用Spark等。本節爲大家分享的則是Storm、Impala、Spark三個框架： 

3. Cloudera Impala

代碼託管地址： GitHub

Impala是由Cloudera開發，一個開源的Massively Parallel Processing（MPP）查詢引擎 。與Hive相同的元數據、SQL語法、ODBC驅動程序和用戶接口(Hue Beeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查詢。Impala是在Dremel的啓發下開發的，第一個版本發佈於2012年末。

Impala不再使用緩慢的Hive+MapReduce批處理，而是通過與商用並行關係數據庫中類似的分佈式查詢引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分組成），可以直接從HDFS或者HBase中用SELECT、JOIN和統計函數查詢數據，從而大大降低了延遲。

4. Spark

代碼託管地址： Apache

Spark是個開源的數據分析集羣計算框架，最初由加州大學伯克利分校AMPLab開發，建立於HDFS之上。Spark與Hadoop一樣，用於構建大規模、低延時的數據分析應用。Spark採用Scala語言實現，使用Scala作爲應用框架。

Spark採用基於內存的分佈式數據集，優化了迭代式的工作負載以及交互式查詢。與Hadoop不同的是，Spark和Scala緊密集成，Scala像管理本地collective對象那樣管理分佈式數據集。Spark支持分佈式數據集上的迭代式任務，實際上可以在Hadoop文件系統上與Hadoop一起運行（通過YARN、Mesos等實現）。

5. Storm

代碼託管地址： GitHub

Storm是一個分佈式的、容錯的實時計算系統，由BackType開發，後被Twitter捕獲。Storm屬於流處理平臺，多用於實時計算並更新數據庫。Storm也可被用於“連續計算”（continuous computation），對數據流做連續查詢，在計算時就將結果以流的形式輸出給用戶。它還可被用於“分佈式RPC”，以並行的方式運行昂貴的運算。

Hadoop上的其它解決方案

就像前文說，基於業務對實時的需求，各個實驗室發明了Storm、Impala、Spark、Samza等流實時處理工具。而本節我們將分享的是實驗室基於性能、兼容性、數據類型研究的開源解決方案，其中包括Shark、Phoenix、Apache Accumulo、Apache Drill、Apache Giraph、Apache Hama、Apache Tez、Apache Ambari。

6. Shark

代碼託管地址： GitHub

Shark，代表了“Hive on Spark”，一個專爲Spark打造的大規模數據倉庫系統，兼容Apache Hive。無需修改現有的數據或者查詢，就可以用100倍的速度執行Hive QL。

Shark支持Hive查詢語言、元存儲、序列化格式及自定義函數，與現有Hive部署無縫集成，是一個更快、更強大的替代方案。

7. Phoenix

代碼託管地址： GitHub

Phoenix是構建在Apache HBase之上的一個SQL中間層，完全使用Java編寫，提供了一個客戶端可嵌入的JDBC驅動。Phoenix查詢引擎會將SQL查詢轉換爲一個或多個HBase scan，並編排執行以生成標準的JDBC結果集。直接使用HBase API、協同處理器與自定義過濾器，對於簡單查詢來說，其性能量級是毫秒，對於百萬級別的行數來說，其性能量級是秒。Phoenix完全託管在GitHub之上。

Phoenix值得關注的特性包括：1，嵌入式的JDBC驅動，實現了大部分的java.sql接口，包括元數據API；2，可以通過多個行鍵或是鍵/值單元對列進行建模；3，DDL支持；4，版本化的模式倉庫；5，DML支持；5，通過客戶端的批處理實現的有限的事務支持；6，緊跟ANSI SQL標準。

8. Apache Accumulo

代碼託管地址： Apache SVN

Apache Accumulo是一個可靠的、可伸縮的、高性能、排序分佈式的鍵值存儲解決方案，基於單元訪問控制以及可定製的服務器端處理。使用 Google BigTable設計思路，基於Apache Hadoop、Zookeeper和Thrift構建。Accumulo最早由NSA開發，後被捐獻給了Apache基金會。

對比Google BigTable，Accumulo主要提升在基於單元的訪問及服務器端的編程機制，後一處修改讓Accumulo可以在數據處理過程中任意點修改鍵值對。

9. Apache Drill

代碼託管地址： GitHub

本質上，Apache Drill是Google Dremel的開源實現，本質是一個分佈式的mpp查詢層，支持SQL及一些用於NoSQL和Hadoop數據存儲系統上的語言，將有助於Hadoop用戶實現更快查詢海量數據集的目的。當下Drill還只能算上一個框架，只包含了Drill願景中的初始功能。

Drill的目的在於支持更廣泛的數據源、數據格式及查詢語言，可以通過對PB字節數據的快速掃描（大約幾秒內）完成相關分析，將是一個專爲互動分析大型數據集的分佈式系統。

10. Apache Giraph

代碼託管地址： GitHub

Apache Giraph是一個可伸縮的分佈式迭代圖處理系統，靈感來自BSP（bulk synchronous parallel）和Google的Pregel，與它們 區別於則是是開源、基於 Hadoop 的架構等。

Giraph處理平臺適用於運行大規模的邏輯計算，比如頁面排行、共享鏈接、基於個性化排行等。Giraph專注於社交圖計算，被Facebook作爲其Open Graph工具的核心，幾分鐘內處理數萬億次用戶及其行爲之間的連接。

11. Apache Hama

代碼託管地址： GitHub

Apache Hama是一個建立在Hadoop上基於BSP（Bulk Synchronous Parallel）的計算框架，模仿了Google的Pregel。用來處理大規模的科學計算，特別是矩陣和圖計算。集羣環境中的系統架構由 BSPMaster/GroomServer（Computation Engine）、Zookeeper（Distributed Locking）、HDFS/HBase（Storage Systems）這3大塊組成。 

12. Apache Tez

代碼託管地址： GitHub

Apache Tez是基於Hadoop Yarn之上的DAG（有向無環圖，Directed Acyclic Graph）計算框架。它把Map/Reduce過程拆分成若干個子過程，同時可以把多個Map/Reduce任務組合成一個較大的DAG任務，減少了Map/Reduce之間的文件存儲。同時合理組合其子過程，減少任務的運行時間。由Hortonworks開發並提供主要支持。 

13. Apache Ambari

代碼託管地址： Apache SVN

Apache Ambari是一個供應、管理和監視Apache Hadoop集羣的開源框架，它提供一個直觀的操作工具和一個健壯的Hadoop API,可以隱藏複雜的Hadoop操作，使集羣操作大大簡化，首個版本發佈於2012年6月。

Apache Ambari現在是一個Apache的頂級項目，早在2011年8月，Hortonworks引進Ambari作爲Apache Incubator項目，制定了Hadoop集羣極致簡單管理的願景。在兩年多的開發社區顯著成長，從一個小團隊，成長爲Hortonworks各種組織的貢獻者。Ambari用戶羣一直在穩步增長，許多機構依靠Ambari在其大型數據中心大規模部署和管理Hadoop集羣。

目前Apache Ambari支持的Hadoop組件包括：HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。（文/仲浩 審校/周小璐）