原创 TypeInformation定義報錯
當使用Scala API開發Flink應用時，如果使用到Flink已經通過TypeInformation定義的數據類型時，TypeInformation類不會自動創建，而是使用隱式參數的方式引入，代碼不會直接拋出編碼異常，但是當啓
2020-07-03 08:41:27
原创 Managed State(託管狀態) Vs RawState(原生狀態)
在Flink中的KeyedState和OperatorState都有兩種形式，有什麼區別？ 文章目錄Managed State(託管狀態)RawState(原生狀態)推薦 Managed State(託管狀態) 由Flink Ru
2020-07-03 08:41:27
原创 Flink基礎03-Flink window API
目錄： window概念 window類型 window API window概念 一般真實的流都是無界的，怎樣處理無界的數據？ 可以把無限的數據流進行切分，得到有限的數據集進行處理，即得到有界流 窗口（window）就是將無限
2020-07-03 08:41:27
1
原创 Flink+Kafka開發流程
文章目錄第一步：啓動zookeeper集羣（kafka依賴於zookeeper集羣）第二步：啓動kafka集羣第三步：啓動程序客戶端去消費kafka發送過來的消息kafka連接配置示例：完整示例： 第一步：啓動zookeeper集
2020-07-03 08:41:27
原创 Flink基礎05-Flink狀態管理
目錄 Flink中的狀態 算子狀態（Operator State） 鍵控狀態（Keyed State） 狀態後端（State Backends） Flink中的狀態 （1）由一個任務維護，並且用來計算某個結果的所有數據，都屬於這
2020-07-03 08:41:27
原创 Flink核心概念之window
文章目錄首先解釋一下windowAll跟keyBy.window的區別：自定義SourceFunction用於測試時間窗口滾動時間窗口（兩種設置方式）滑動時間窗口（兩種設置方式）計數窗口滾動計數窗口滑動計數窗口 首先解釋一下win
2020-07-03 08:41:27
原创 Flink基礎04-Flink中的時間語義和watermark
目錄： Flink中的時間語義 設置Event Time 水位線(Watermark) watermark的傳遞、引入和設定 Flink中的時間語義 Event Time : 事件創建的時間 Ingestion Time：數據進
2020-07-03 08:41:27
原创 Flink基礎06-Flink的容錯機制
目錄 一致性檢查點（checkpoint） 從檢查點恢復狀態 Flink檢查點算法 保存點（save points） 一致性檢查點（checkpoint） (1) flink故障恢復機制的核心，就是應用狀態的一致性檢查點 (2)
2020-07-03 08:41:27
1
原创 Flink基礎02-Flink運行架構
目錄： Flink運行時的組件 任務提交流程 任務調度原理 作業管理器（JobManager） 控制一個應用程序執行的主進程，即每個應用程序都會被一個不同的JobManager所控制執行 JobManager會先接收到要執行的應
2020-07-03 08:41:27
原创 Flink開發五步之第三步：Transform算子彙總（直接動手操練吧）
文章目錄mapflatmapfilterkeyby + reduce滾動聚合算子（rolling Aggregation）sum()min()max()minBy()maxBy()split和selectconnect和comap
2020-07-03 08:41:27
原创 Flink中Checkpoint常用配置7點
直接保存待用吧^w // 默認情況是不開啓的 // 設置開啓檢查點，參數爲時間間隔，單位爲毫秒 env.enableCheckpointing(1000) // 設定語義模式，默認情況是exactly_on
2020-07-03 08:41:27
1
原创 Flink基礎07-Flink的狀態一致性
目錄 狀態一致性 一致性檢查點（checkpoint） 端到端（end-to-end）狀態一致性 端到端的精確一次（exactly-once）保證 Flink+Kafka端到端狀態一致性的保證 什麼是狀態一致性 （1）有狀態的流
2020-07-03 08:41:27
原创 Flink開發五步之第四步：Sink
文章目錄一、用於測試的自定義SourceFunction二、Sink To Kafka 一、用於測試的自定義SourceFunction package com.fouth_sink import org.apache.flink
2020-07-03 08:41:27
原创 Flink基礎01-flink簡介
#概念 Flink: 是一個框架和分佈式處理引擎，用於對無界和有界數據流進行狀態計算 #應用場景： 爲什麼選擇Flink 流數據更真實地反映了我們的生活方式 傳統的數據架構是基於有限數據集的 低延遲、高吞吐、結果的準確性和良好的容
2020-07-03 08:41:27