Flink基础05-Flink状态管理

目录
Flink中的状态
算子状态(Operator State)
键控状态(Keyed State)
状态后端(State Backends)

Flink中的状态
在这里插入图片描述
(1)由一个任务维护,并且用来计算某个结果的所有数据,都属于这个任务的状态
(2)可以认为状态就是一个本地变量,可以被任务的业务逻辑访问
(3)Flink会进行状态管理,包括状态一致性、故障处理以及高效存储和访问,以便开发人员可以专注于应用程序的逻辑
(4)在flink中,状态始终与特定算子相关联
(5)为了是运行时的flink了解算子的状态,算子需要预先注册其状态

总结,有两种类型的状态
算子状态(Operator State)
算子状态的作用范围限定为算子任务
键控状态(Keyed State)
根据输入数据流中定义的键(key)来维护和访问

算子状态(Operatior State)
在这里插入图片描述
(1)算子状态的作用范围限定为算子任务,由同意并行任务所处理的所有数据都可以访问到相同的状态
(2)状态对于同一任务而言是共享的
(3)算子状态不能由相同或不同算子的另一个任务访问
算子状态数据结构
列表状态(List state):将状态表示为一组数据的列表
联合列表状态(Union list state):将状态表示为数据的列表。它与常规列表状态的区别在于,在发生故障时,或者从保存点(savepoint)启动应用程序时如何恢复
广播状态(Broadcast state):如果一个算子有多项任务,而他的每项任务状态又都相同,那么这种特殊情况最适合应用广播状态

键控状态(Keyed State)
在这里插入图片描述
(1)键控状态是根据输入数据流中定义的键(key)来维护和访问的
(2)Flink为每个key维护一个状态实例,并将具有相同键的所有数据,都分区到同一个算子任务中,这个任务会维护和处理这个key对应的状态
(3)当任务处理一条数据时,它会自动将状态的访问范围限定为当前数据的key
键控状态数据结构
值状态(Value state):将状态表示为单个的值
列表状态(List state):将状态表示为一组数据的列表
映射状态(Map state): 将状态表示为一组Key-Value对
聚合状态(Reducing state&Aggregating State):将状态表示为一个用于聚合操作的列表
键控状态的使用
在这里插入图片描述

状态后端(State Backends)
(1)每传入一条数据,有状态的算子任务都会读取和更新状态
(2)由于有效的状态访问对于处理数据的低延迟至关重要,因此每个并行任务都会在本地维护其状态,以确保快速的状态访问
(3)状态的存储、访问以及维护,由一个可插入的组件决定,这个组件就是状态后端(state backend)
(4)状态后端主要负责两件事:本地的状态管理,以及将检查点(checkpoint)状态写入远程存储
选择一个状态后端
MemoryStateBackend
内存级的状态后端,会将键控状态作为内存中的对象进行管理,将他们存储在TaskManager的Jvm堆上,而将checkpoint存储在JobManager的内存中
特点:快速、低延迟、但不稳定
FsStateBackend
将checkpoint存到远程的持久化文件系统(FileSystem)上,而对于本地状态,跟MemoryStateBackend一样,也会存在TaskManager的JVM堆上
同时拥有内存级的本地访问速度,和更好的容错保证
RocksDBStatebackend
将所有状态序列化后,存入本地的RocksDB中存储

附思维导图
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章