spark streaming简介

Spark Streaming用于流式数据处理(准实时,微批次),Spark Streaming支持的数据源很多,例如:kafka、Flume、简单的TCP套接字等,数据输入后可以用Spark的高度抽象原语,如:map、join、reduce、window等进行运算,而结果也可以保存在很多地方,如:hdfs、数据库等。

和Spark基于RDD的概念很相似,Spark Streaming使用离散流(discretized stream)作为抽象表示,叫做DStream。DStream是随时间推移而收到的数据的序列,在内部,每个时间区间收到的数据都作为RDD的存在,而DStream是由这些RDD所组成的序列(因此得名“离散化”)。简单来讲,Dstream就是对RDD在实时数据处理场景的一种封装。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章