Storm爲分佈式實時計算提供了一組通用原語,可被用於“流處理”之中,實時處理消息並更新數據庫。這是管理隊列及工作者集羣的另一種方式。
Storm也可被用於“連續計算”(continuous
computation),對數據流做連續查詢,在計算時就將結果以流的形式輸出給用戶。它還可被用於“分佈式RPC”,以並行的方式運行昂貴的運算。
Storm可以方便地在一個計算機集羣中編寫與擴展複雜的實時計算,Storm用於實時處理,就好比
Hadoop
用於批處理。Storm保證每個消息都會得到處理,而且它很快——在一個小集羣中,每秒可以處理數以百萬計的消息。更棒的是你可以使用任意編程語言來做開發。
=====Apache Storm課程大綱=====
一、課程概述
(*)課程概述
(*)搭建Linux虛擬機環境
(*)ZooKeeper簡介和環境的搭建
二、Storm概述
(*)什麼是Storm和流式計算
(*)Storm的體系結構和運行機制
(*)安裝配置Storm及常用命令
(*)Demo演示:WordCountTopology
三、Storm案例分析
(*)WordCount數據流程分析
(*)實現WordCountTopology
(*)部署運行WordCountTopology
四、Storm的內部原理
(*)Storm集羣任務提交的流程
(*)Storm集羣的內部通信機制
五、集成Storm和Apache Kafka
(*)Apache Kafka簡介和環境的搭建
(*)集成Storm和Apache Kafka
六、集成Storm和Apache HDFS
(*)Apache Hadoop簡介和環境的搭建
(*)集成Storm和Apache HDFS
七、集成Storm和Apache HBase
(*)Apache HBase簡介和環境的搭建
(*)集成Storm和Apache HBase
八、集成Storm和Apache Hive
(*)Apache Hive簡介和環境的搭建
(*)集成Storm和Apache HBase
九、集成Storm和Redis
(*)Redis簡介和環境的搭建
(*)集成Storm和Redis
十、集成Storm和JDBC
(*)集成Storm和JDBC