國內、國外Hadoop的應用現狀
本文節選自《Hadoop核心技術》一書。翟周偉著，由機械工業出版社華章公司，2015年4月出版。
寫在前面：本文給出了國內、國外Hadoop的應用現狀，很多數據是比較舊的了，現在也許已經發生了重大變化（比如阿里已經轉而使用自己內部的阿里雲平臺），但對於那些正在選型的技術人員而言，仍具有較高的參考價值。
摘要：Hadoop是一個開源的高效雲計算基礎架構平臺，其不僅僅在雲計算領域用途廣泛，還可以支撐搜索引擎服務，作爲搜索引擎底層的基礎架構系統，同時在海量數據處理、數據挖掘、機器學習、科學計算等領域都越來越受到青睞。本文將講述國外、國內Hadoop的主要應用現狀。
國內Hadoop的應用現狀
Hadoop在國內的應用主要以互聯網公司爲主，下面主要介紹大規模使用Hadoop或研究Hadoop的公司。
1.百度
百度在2006年就開始關注Hadoop並開始調研和使用，在2012年其總的集羣規模達到近十個，單集羣超過2800臺機器節點，Hadoop機器總數有上萬臺機器，總的存儲容量超過100PB，已經使用的超過74PB，每天提交的作業數目有數千個之多，每天的輸入數據量已經超過7500TB，輸出超過1700TB。
百度的Hadoop集羣爲整個公司的數據團隊、大搜索團隊、社區產品團隊、廣告團隊，以及LBS團體提供統一的計算和存儲服務，主要應用包括：
數據挖掘與分析
日誌分析平臺
數據倉庫系統
推薦引擎系統
用戶行爲分析系統
同時百度在Hadoop的基礎上還開發了自己的日誌分析平臺、數據倉庫系統，以及統一的C++編程接口，並對Hadoop進行深度改造，開發了HadoopC++擴展HCE系統。
2.阿里巴巴（舊的數據，現在已轉而使用阿里雲了）
阿里巴巴的Hadoop集羣截至2012年大約有3200臺服務器，大約30?000物理CPU核心，總內存100TB，總的存儲容量超過60PB，每天的作業數目超過150?000個，每天hivequery查詢大於6000個，每天掃描數據量約爲7.5PB，每天掃描文件數約爲4億，存儲利用率大約爲80%，CPU利用率平均爲65%，峯值可以達到80%。阿里巴巴的Hadoop集羣擁有150個用戶組、4500個集羣用戶，爲淘寶、天貓、一淘、聚划算、CBU、支付寶提供底層的基礎計算和存儲服務，主要應用包括：
數據平臺系統
搜索支撐
廣告系統
數據魔方
量子統計
淘數據
推薦引擎系統
搜索排行榜
爲了便於開發，其還開發了WebIDE繼承開發環境，使用的相關係統包括：Hive、Pig、Mahout、Hbase等。
3.騰訊
騰訊也是使用Hadoop最早的中國互聯網公司之一，截至2012年年底，騰訊的Hadoop集羣機器總量超過5000臺，最大單集羣約爲2000個節點，並利用Hadoop-Hive構建了自己的數據倉庫系統TDW，同時還開發了自己的TDW-IDE基礎開發環境。騰訊的Hadoop爲騰訊各個產品線提供基礎雲計算和雲存儲服務，其支持以下產品：
騰訊社交廣告平臺
搜搜（SOSO）
拍拍網
騰訊微博
騰訊羅盤
QQ會員
騰訊遊戲支撐
QQ空間
朋友網
騰訊開放平臺
財付通
手機QQ
QQ音樂
4.奇虎360
奇虎360主要使用Hadoop-HBase作爲其搜索引擎so.com的底層網頁存儲架構系統，360搜索的網頁可到千億記錄，數據量在PB級別。截至2012年年底，其HBase集羣規模超過300節點，region個數大於10萬個，使用的平臺版本如下:
HBase版本：facebook0.89-fb。
HDFS版本：facebookHadoop-20。
奇虎360在Hadoop-HBase方面的工作主要爲了優化減少HBase集羣的啓停時間，並優化減少RS異常退出後的恢復時間。
5.華爲
華爲公司也是Hadoop主要做出貢獻的公司之一，排在Google和Cisco的前面，華爲對Hadoop的HA方案，以及HBase領域有深入研究，並已經向業界推出了自己的基於Hadoop的大數據解決方案。
6.中國移動
中國移動於2010年5月正式推出大雲BigCloud1.0，集羣節點達到了1024。中國移動的大雲基於Hadoop的MapReduce實現了分佈式計算，並利用了HDFS來實現分佈式存儲，並開發了基於Hadoop的數據倉庫系統HugeTable，並行數據挖掘工具集BC-PDM，以及並行數據抽取轉化BC-ETL，對象存儲系統BC-ONestd等系統，並開源了自己的BC-Hadoop
版本。
中國移動主要在電信領域應用Hadoop，其規劃的應用領域包括：
經分KPI集中運算
經分系統ETL/DM
結算系統
信令系統
雲計算資源池系統
物聯網應用系統
IDC服務等
7.盤古搜索
盤古搜索（目前已和即刻搜索合併爲中國搜索）主要使用Hadoop集羣作爲搜索引擎的基礎架構支撐系統，截至2013年年初，集羣中機器數量總計超過380臺，存儲總量總計3.66PB，主要包括的應用如下。
網頁存儲
網頁解析
建索引
Pagerank計算
日誌統計分析
推薦引擎等
即刻搜索（人民搜索）
即刻搜索（目前已與盤古搜索合併爲中國搜索）也使用Hadoop作爲其搜索引擎的支撐系統，截至2013年，其Hadoop集羣規模總計超過500臺節點，配置爲雙路6核心CPU，48G內存，11×2T存儲，集羣總容量超過10PB，使用率在78%左右，每天處理讀取的數據量約爲500TB，峯值大於1P，平均約爲300TB。
即刻搜索在搜索引擎中使用sstable格式存儲網頁並直接將sstable文件存儲在HDFS上面，主要使用HadoopPipes編程接口進行後續處理，也使用Streaming接口處理數據，主要的應用包括：
網頁存儲
解析
建索引
推薦引擎
國外Hadoop的應用現狀
1.Yahoo
Yahoo是Hadoop的最大支持者，截至2012年，Yahoo的Hadoop機器總節點數目超過42?000個，有超過10萬的核心CPU在運行Hadoop。最大的一個單Master節點集羣有4500個節點（每個節點雙路4核心CPUboxesw，4×1TB磁盤，16GBRAM）。總的集羣存儲容量大於350PB，每月提交的作業數目超過1000萬個，在Pig中超過60%的Hadoop作業是使用Pig編寫提交的。
Yahoo的Hadoop應用主要包括以下幾個方面：
支持廣告系統
用戶行爲分析
支持Web搜索
反垃圾郵件系統
會員反濫用
內容敏捷
個性化推薦
同時Pig研究並測試支持超大規模節點集羣的Hadoop系統。
2.Facebook
Facebook使用Hadoop存儲內部日誌與多維數據，並以此作爲報告、分析和機器學習的數據源。目前Hadoop集羣的機器節點超過1400臺，共計11?200個核心CPU，超過15PB原始存儲容量，每個商用機器節點配置了8核CPU，12TB數據存儲，主要使用StreamingAPI和JavaAPI編程接口。Facebook同時在Hadoop基礎上建立了一個名爲Hive的高級數據倉庫框架，Hive已經正式成爲基於Hadoop的Apache一級項目。此外，還開發了HDFS上的FUSE實現。
3.A9.com
A9.com爲Amazon使用Hadoop構建了商品搜索索引，主要使用StreamingAPI以及C++、Perl和Python工具，同時使用Java和StreamingAPI分析處理每日數以百萬計的會話。A9.com爲Amazon構建的索引服務運行在100節點左右的Hadoop集羣上。
4.Adobe
Adobe主要使用Hadoop及HBase，同於支撐社會服務計算，以及結構化的數據存儲和處理。大約有超過30個節點的Hadoop-HBase生產集羣。Adobe將數據直接持續地存儲在HBase中，並以HBase作爲數據源運行MapReduce作業處理，然後將其運行結果直接存到HBase或外部系統。Adobe在2008年10月就已經將Hadoop和HBase應用於生產集羣。
5.CbIR
自2008年4月以來，日本的CbIR（Content-basedInformationRetrieval）公司在AmazonEC2上使用Hadoop來構建圖像處理環境，用於圖像產品推薦系統。使用Hadoop環境生成源數據庫，便於Web應用對其快速訪問，同時使用Hadoop分析用戶行爲的相似性。
6.Datagraph
Datagraph主要使用Hadoop批量處理大量的RDF數據集，尤其是利用Hadoop對RDF數據建立索引。Datagraph也使用Hadoop爲客戶執行長時間運行的離線SPARQL查詢。Datagraph是使用AmazonS3和Cassandra存儲RDF數據輸入和輸出文件的，並已經開發了一個基於MapReduce處理RDF數據的Ruby框架——RDFgrid。
Datagraph主要使用Ruby、RDF.rb以及自己開發的RDFgrid框架來處理RDF數據，主要使用HadoopStreaming接口。
7.EBay
單集羣超過532節點集羣，單節點8核心CPU，容量超過5.3PB存儲。大量使用的MapReduce的Java接口、Pig、Hive來處理大規模的數據，還使用HBase進行搜索優化和研究。
8.IBM
IBM藍雲也利用Hadoop來構建雲基礎設施。IBM藍雲使用的技術包括：Xen和PowerVM虛擬化的Linux操作系統映像及Hadoop並行工作量調度，併發布了自己的Hadoop發行版及大數據解決方案。
9.Last.Fm
Last.Fm主要用於圖表計算、專利申報、日誌分析、A/B測試、數據集合並等，也使用Hadoop對超過百萬的曲目進行大規模的音頻特徵分析。
節點超過100臺機器，集羣節點配置雙四核[email protected]@2.13GHz，24GB內存，8TB（4×2TB）存儲。
10.LinkedIn
LinkedIn有多種硬件配置的Hadoop集羣，主要集羣配置如下：
800節點集羣，基於Westmere的惠普SL170X與2×4的核心，24GB內存，6×2TBSATA。
1900節點集羣，基於Westmere的超微-HX8DTT，與2×6的核心，24GB內存，6×2TBSATA。
1400節點集羣，基於SandyBridge超微與2×6的核心，32GB內存，6×2TBSATA。
使用的軟件如下：
操作系統使用RHEL6.3。
JDK使用SUNJDK1.6.0_32。
Apache的Hadoop0.20.2的補丁和ApacheHadoop的1.0.4補丁。
Azkaban和Azkaban用於作業調度。
Hive、Avro、Kafka等。
11.MobileAnalytic.TV
主要使用Hadoop應用在並行化算法領域，涉及的MapReduce應用算法如下:
信息檢索和分析
機器生成的內容——文檔、文本、音頻、視頻
自然語言處理
項目組合包括：
移動社交網絡
網絡爬蟲
文本到語音轉化
音頻和視頻自動生成
12.Openstat
主要利用Hadoop定製一個網絡日誌分析並生成報告，其生產環境下超過50個節點集羣（雙路四核Xeon處理器，16GB的RAM，4～6硬盤驅動器），還有兩個相對小的集羣用於個性化分析，每天處理約500萬的事件，每月15億美元的交易數據，集羣每天產生大約25GB的報告。
使用的技術主要包括：CDH、Cascading、Janino。
13.Quantcast
3000個CPU核心，3500TB存儲，每日處理1PB以上的數據，使用完全自定義的數據路徑和排序器的Hadoop調度器，對KFS文件系統有突出貢獻。
14.Rapleaf
超過80個節點的集羣（每個節點有2個雙核CPU，2TB×8存儲，16GBRAM內存）；主要使用Hadoop、Hive處理Web上關聯到個人的數據，並引入Cascading簡化數據流穿過各種處理階段。
15.WorldLingo
硬件上超過44臺服務器（每臺有2個雙核CPU，2TB存儲，8GB內存），每臺服務器均運行Xen，啓動一個虛擬機實例運行Hadoop/HBase，再啓動一個虛擬機實例運行Web或應用程序服務器，即有88臺可用的虛擬機；運行兩套獨立的Hadoop/HBase機羣，它們各自擁有22個節點。Hadoop主要用於運行HBase和MapReduce作業，掃描HBase的數據表，執行特定的任務。HBase作爲一種可擴展的、快速的存儲後端，用於保存數以百萬的文檔。目前存儲了1200萬篇文檔，近期的目標是存儲4.5億篇文檔。
16.格拉斯哥大學的TerrierTeam
超過30個節點的實驗集羣（每節點配置XeonQuadCore2.4GHz，4GB內存，1TB存儲）。使用Hadoop促進信息檢索研究和試驗，特別是用於TREC，用於TerrierIR平臺。Terrier的開源發行版中包含了基於HadoopMapReduce的大規模分佈式索引。
17.內布拉斯加大學的HollandComputingCenter
運行一箇中等規模的Hadoop機羣（共計1.6PB存儲）用於存儲和提供物理數據，以支持緊湊型μ子螺旋型磁譜儀（CompactMuonSolenoid，CMS）實驗的計算。這需要一類能夠以幾Gbps的速度下載數據，並以更高的速度處理數據的文件系統的支持。
18.VisibleMeasures
將Hadoop作爲可擴展數據流水線的一個組件，最終用於VisibleSuite等產品。使用Hadoop彙總、存儲和分析與網絡視頻觀衆收看行爲相關的數據流。目前的網格包括超過128個CPU核心，超過100TB的存儲，並計劃大幅擴容。