以水爲例,Hadoop可以看作是純淨水,一桶桶地搬;而Storm是用水管,預先接好(Topology),然後打開水龍頭,水就源源不斷地流出來了。
1、流式計算
流式計算:數據實時產生、數據實時傳輸、數據實時計算、實時展示
代表技術:Flume實時獲取數據、Kafka/metaq實時數據存儲、Storm/JStorm實時數據計算、Redis實時結果緩存、持久化存儲(mysql)。
一句話總結:將源源不斷產生的數據實時收集並實時計算,儘可能快的得到計算結果,用來支持決策。
2、批量處理計算
3、實時計算
4、離線計算
未完待續