原文:http://www.cnblogs.com/MGGOON/archive/2012/04/27/2473152.html
一、實時計算一些基本概念
http://www.cnblogs.com/panfeng412/archive/2011/10/28/2227195.html
二、早期產品
1. IBM的StreamBase:
StreamBase是IBM開發的一款商業流式計算系統,在金融行業和政府部門使用
官方網站:http://www.streambase.com
2. Borealis:Brandeis University、Brown University和MIT合作開發的一個分佈式流式系統,由之前的流式系統Aurora、Medusa演化而來,學術研究的一個產品,08年已經停止維護
三、近期產品:
1.Yahoo的S4:S4是一個通用的、分佈式的、可擴展的、分區容錯的、可插拔的流式系統,Yahoo!開發S4系統,主要是爲了解決:搜索廣告的展現、處理用戶的點擊反饋。
官方網站:http://s4.io/
S4簡介:http://www.programmer.com.cn/5304/
2. Twitter實時計算
2.1 Twitter的storm:Storm是一個分佈式的、容錯的實時計算系統
Storm用途:可用於處理消息和更新數據庫(流處理),在數據流上進行持續查詢,並以流的形式返回結果到客戶端(持續計算),並行化一個類似實時查詢的熱點查詢(分佈式的RPC)。
官方指南:https://storm.canonical.com/Tutorial
github下載:https://github.com/nathanmarz/storm/downloads
storm詳解:http://duanple.blog.163.com/blog/static/7097176720111020102057795/
storm配置詳解:http://www.tbdata.org/archives/2118
storm翻譯及總結博客:http://chenlx.blog.51cto.com/4096635/d-1/p-1
2.2. Twitter的Rainbird:Rainbird 是一款分佈式實時統計系統, Rainbird可以用於實時數據的統計:(1)統計網站中每一個頁面,域名的點擊次數,(2)內部系統的運行監控(統計被監控服務器的運行狀態),(3) 記錄最大值和最小值
官方簡介:http://www.slideshare.net/kevinweil/rainbird-realtime-analytics-at-twitter-strata-2011
中文介紹:
http://www.cnblogs.com/gpcuster/archive/2011/02/06/1949466.html
3.Facebook 的Puma:facebook使用puma和Habase相結合來處理實時數據,另外facebook發表一篇利用HBase/Hadoop進行實時數據處理的論文(Apache Hadoop Goes Realtime at Facebook),通過一些實時性改造,讓批處理計算平臺也具備實時計算的能力。
4.淘寶的實時計算、流式處理
4.1銀河流數據處理平臺:通用的流數據實時計算系統,以實時數據產出的低延遲、高吞吐和複用性爲初衷和目標,採用actor模型構建分佈式流數據計算框架(底層基於akka),功能易擴展、部分容錯、數據和狀態可監控。 銀河具有處理實時流數據(如TimeTunnel收集的實時數據)和靜態數據(如本地文件、HDFS文件)的能力,能夠提供靈活的實時數據輸出,並提供自定義的數據輸出接口以便擴展實時計算能力。 銀河目前主要是爲魔方提供實時的交易、瀏覽和搜索日誌等數據的實時計算和分析。
4.2.基於storm的流式處理,統計計算、持續計算、實時消息處理。
4.3利用Habase實現的online應用。
5.另外還有一些其他實時計算系統:
Hstreaming:官方網站:http://www.hstreaming.com/technology/hstreaming/
Esper:esper可以用在股票系統、風險監控系統等等要求實時性比較高的系統中
官方網站:http://www.espertech.com/
官網的英文簡介:http://www.espertech.com/products/esper.php
中文簡介:http://www.cnblogs.com/qlee/archive/2011/06/22/2086550.html
http://www.blogjava.net/killme2008/archive/2011/11/08/363238.html