Spark Streaming

流計算概述

流數據

流數據和靜態數據不同，靜態數據是和水庫中的水一樣，事先就放在那裏，而流數據會像小溪流水一樣不斷地到達

對於流數據，一般來講我們可能不會去過分地關注怎麼去把這些數據保存起來。很多數據我們可能進行處理分析之後就扔掉了

根據兩種數據的兩種不同計算

流計算

流計算基本理念

三類流計算框架和平臺

流計算特點

流計算一般採用訂閱的方式，並不是由用戶主動發起查詢，而是一算到結果就主動推給用戶

Spark Streaming

Spark Stream是一個典型的流計算框架

原理

本質上Spark是一個批處理框架，但是它的處理時效非常高，可以實現秒級響應，所以它就變相實現了非常高效的流計算。

把流計算切成一段一段，每段都是一個批處理，可以模仿流計算的效果

DStream本質上就是一堆的RDD

 

Spark Streaming並不是一個真正的流計算框架，只是變相實現流計算

Spark與Haoop+Strom比較