Spark Streaming总结-----学习笔记

支持多种数据源:Kafka、Flume、HDFS、普通TCP套接字等;

基本原理:实时输入数据流以时间片(秒级)为单位进行拆分,然后经Spark引擎以类似批处理的方式处理每个时间片数据;


Spark Streaming最主要的抽象是DStream(Discretized Stream,离散化数据流),表示连续不断的数据流。在内部实现上,Spark Streaming的输入数据按照时间片(如1秒)分成一段一段的DStream,每一段数据转换为Spark中的RDD,并且对DStream的操作都最终转变为对相应的RDD的操作;


Spark Streaming和Storm最大的区别:

Spark Streaming:Storm

毫秒级 ---------------秒级

低延时引擎(100ms+)---xxx

RDD天生高容错-------xxxx

兼容批处理、实时处理------实时处理

方便历史数据和实时数据联合分析------实时分析


发布了168 篇原创文章 · 获赞 39 · 访问量 7万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章