原创 Flink 中的狀態管理

1.Flink 中的狀態 1.概述 在Flink中，算子任務可以分爲無狀態和有狀態兩種情況。 無狀態的算子任務只需要觀察每個獨立事件，根據當前輸入的數據直 接轉換輸出結果。我們之前講到的基本轉換算子，如map、filter、flatMap，

2024-01-29 14:26:48

原创 Flink 中的處理函數

流處理 API，無論是基本的轉換、聚合，還是更爲複雜的窗口操作，其實 都是基於 DataStream 進行轉換的，所以可以統稱爲 DataStream API。 在 Flink 更底層，我們可以不定義任何具體的算子（比如 map，filte

2024-01-27 14:23:29

原创 Flink 中的時間和窗口

在批處理統計中，我們可以等待一批數據都到齊後，統一處理。但是在實時處理統計中，我們是來一條就得處理一條，那麼我們怎麼統計最近一段時間內的數據呢？引入“窗口”。 所謂的“窗口”，一般就是劃定的一段時間範圍，也就是“時間窗”；對在這範圍內的數據

2024-01-24 14:23:31

原创 Flink DataStream API 總結

流程如下 Environment(執行環境) -> Source(數據源) -> Transformation(轉換操作) -> Sink(輸出) 1.Environment(執行環境) package cn.coreqi.env; im

2024-01-21 14:27:53 2

原创 Flink 開發一些代碼

本文基於：Flink Java Demo 1.開發中開啓WEB UI 1.添加依賴 <dependency> <groupId>org.apache.flink</groupId>

2024-01-20 14:24:01 1

原创 Flink 歷史服務器配置

本文將歷史服務器的日誌信息保存到Hadoop 的 HDFS上，也可選擇保存到本地磁盤上。 1.在HDFS上創建保存日誌的文件夾 hadoop fs -mkdir -p /logs/flink-job 2.修改flink配置文件，添加歷史服

2024-01-19 14:21:26

原创 Flink1.18 & YARN 應用模式部署【推薦】

應用模式：用戶代碼在JobManger上解析、運行，而不是在客戶端上進行 YARN上部署的過程： 客戶端把 Flink 應用提交給 Yarn 的 ResourceManager，Yarn 的 ResourceManager 會向 Yarn

2024-01-19 14:21:26 1

原创 Flink 1.18 Standalone 應用模式部署

本文基於：Flink Java Demo 1.下載 https://dlcdn.apache.org/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz 2.解壓 mkdir /usr/fl

2024-01-18 14:24:11

原创 Flink 提交作業的幾種方式

本文基於Flink Java Demo 1.WebUI作業提交 2.命令行提交 1.將Maven打包後的jar包上傳到集羣節點[略] 2.提交作業 /usr/flink/flink-1.18.0/bin/flink run -m 192

2024-01-18 14:24:11

原创 Flink Java Demo

1.新建Maven項目 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi

2024-01-18 14:24:10

原创 Flink1.18 & YARN 單作業模式部署

單作業模式：提交作業時才啓動Flink集羣。不用事先啓動，直接flink run即可，注意需要添加-t yarn-per-job參數用於區分。 YARN上部署的過程： 客戶端把 Flink 應用提交給 Yarn 的 ResourceMana

2024-01-18 14:24:00 2

原创 Flink1.18 & YARN 會話模式

YARN上部署的過程： 客戶端把 Flink 應用提交給 Yarn 的 ResourceManager，Yarn 的 ResourceManager 會向 Yarn 的 NodeManager 申請容器。在這些容器上，Flink 會部署 J

2024-01-18 14:24:00

原创 Flink 1.18 集羣搭建

1.Flink角色 Client：用於提交任務的客戶端 JobManager：調度、分發任務的管理器 TaskManager：執行任務 2.集羣規劃 節點服務器 Hadoop02(192.168.58.130) Hadoop03(

2024-01-17 14:24:43 3

原创 SparkStreaming 自定義數據採集器

本文的前提條件: SparkStreaming in Java 參考地址：Spark Streaming Custom Receivers 1.自定義數據採集器 package cn.coreqi.receiver; import org

2024-01-16 14:23:14

原创 SparkSQL 自定義聚合函數[強類型] & DSL

本文的前提條件: SparkSQL in Java 參考地址：User Defined Aggregate Functions (UDAFs) 1.聲明列實體類 package cn.coreqi.entity; import java.

2024-01-16 14:23:14