實時計算、流式處理系統簡介與簡單分析

原文:http://www.cnblogs.com/MGGOON/archive/2012/04/27/2473152.html

一、實時計算一些基本概念

 http://www.cnblogs.com/panfeng412/archive/2011/10/28/2227195.html

二、早期產品

1. IBM的StreamBase:

StreamBase是IBM開發的一款商業流式計算系統,在金融行業和政府部門使用

官方網站:http://www.streambase.com

2. Borealis:Brandeis University、Brown University和MIT合作開發的一個分佈式流式系統,由之前的流式系統Aurora、Medusa演化而來,學術研究的一個產品,08年已經停止維護

三、近期產品:

1.Yahoo的S4:S4是一個通用的、分佈式的、可擴展的、分區容錯的、可插拔的流式系統,Yahoo!開發S4系統,主要是爲了解決:搜索廣告的展現、處理用戶的點擊反饋。

官方網站:http://s4.io/

S4簡介:http://www.programmer.com.cn/5304/

2. Twitter實時計算

2.1 Twitter的storm:Storm是一個分佈式的、容錯的實時計算系統

Storm用途:可用於處理消息和更新數據庫(流處理),在數據流上進行持續查詢,並以流的形式返回結果到客戶端(持續計算),並行化一個類似實時查詢的熱點查詢(分佈式的RPC)。

官方指南:https://storm.canonical.com/Tutorial

github下載:https://github.com/nathanmarz/storm/downloads

storm詳解:http://duanple.blog.163.com/blog/static/7097176720111020102057795/

storm配置詳解:http://www.tbdata.org/archives/2118

storm翻譯及總結博客:http://chenlx.blog.51cto.com/4096635/d-1/p-1

2.2. Twitter的Rainbird:Rainbird 是一款分佈式實時統計系統, Rainbird可以用於實時數據的統計:(1)統計網站中每一個頁面,域名的點擊次數,(2)內部系統的運行監控(統計被監控服務器的運行狀態),(3) 記錄最大值和最小值

官方簡介:http://www.slideshare.net/kevinweil/rainbird-realtime-analytics-at-twitter-strata-2011

中文介紹:

http://www.cnblogs.com/gpcuster/archive/2011/02/06/1949466.html

3.Facebook 的Puma:facebook使用puma和Habase相結合來處理實時數據,另外facebook發表一篇利用HBase/Hadoop進行實時數據處理的論文(Apache Hadoop Goes Realtime at Facebook),通過一些實時性改造,讓批處理計算平臺也具備實時計算的能力。

4.淘寶的實時計算、流式處理

4.1銀河流數據處理平臺:通用的流數據實時計算系統,以實時數據產出的低延遲、高吞吐和複用性爲初衷和目標,採用actor模型構建分佈式流數據計算框架(底層基於akka),功能易擴展、部分容錯、數據和狀態可監控。 銀河具有處理實時流數據(如TimeTunnel收集的實時數據)和靜態數據(如本地文件、HDFS文件)的能力,能夠提供靈活的實時數據輸出,並提供自定義的數據輸出接口以便擴展實時計算能力。 銀河目前主要是爲魔方提供實時的交易、瀏覽和搜索日誌等數據的實時計算和分析。

4.2.基於storm的流式處理,統計計算、持續計算、實時消息處理。

4.3利用Habase實現的online應用。

5.另外還有一些其他實時計算系統:

Hstreaming:官方網站:http://www.hstreaming.com/technology/hstreaming/

Esper:esper可以用在股票系統、風險監控系統等等要求實時性比較高的系統中

官方網站:http://www.espertech.com/

官網的英文簡介:http://www.espertech.com/products/esper.php

中文簡介:http://www.cnblogs.com/qlee/archive/2011/06/22/2086550.html

Yahoo! s4和Twitter storm的粗略比較

http://www.blogjava.net/killme2008/archive/2011/11/08/363238.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章