1.1 Flink中的流式数据与批量数据

原創 成功路上的慢跑鞋 2020-05-09 07:58

写作中

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

爱奇艺数据湖实战 - 实时湖仓一体化

01    概述 數據是洞察用戶、市場、運營決策的基礎資料，在愛奇藝被廣泛應用在推薦、廣告、用戶增長、營銷等場景中。愛奇藝大數據業務之前採用 Lambda 架構，滿足海量

愛奇藝技術產品團隊 2024-05-09 01:18:23

GaussDB(DWS)基于Flink的实时数仓构建

本文分享自華爲雲社區《GaussDB(DWS)基於Flink的實時數倉構建》，作者：胡辣湯。 大數據時代，廠商對實時數據分析的訴求越來越強烈，數據分析時效從T+1時效趨向於T+0時效，爲了給客戶提供極速分析查詢能力，華爲雲數倉GaussDB

原創 2024-04-18 10:32:57

得物 ZooKeeper SLA 也可以 99.99%

1. 背景 ZooKeeper（ZK）是一個誕生於 2007 年的分佈式應用程序協調服務。儘管出於一些特殊的歷史原因，許多業務場景仍然不得不依賴它。比如，Kafka、任務調度等。特別是在 Flink 混合部署 ETCD 解耦 時，業務方曾

原創 2024-05-10 01:06:41

Apache DolphinScheduler支持Flink吗？

隨着大數據技術的快速發展，很多企業開始將Flink引入到生產環境中，以滿足日益複雜的數據處理需求。而作爲一款企業級的數據調度平臺，Apache DolphinScheduler也跟上了時代步伐，推出了對Flink任務類型的支持。 Flink

原創 2024-04-30 11:49:27

利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库

引言 在數據驅動的世界中，企業正在尋求可靠且高性能的解決方案來管理其不斷增長的數據需求。本系列博客從一個重視數據安全和合規性的 B2C 金融科技客戶的角度來討論雲上雲下混合部署的情況下如何利用亞馬遜雲科技雲原生服務、開源社區產品以及第三方

原創 2024-04-25 21:18:23

2024 开源数据工程生态系统全景图

點擊藍字 關注我們 作者 | ALIREZA SADEGHI翻譯 | Debra Chen 01 簡介

微衆開源 2024-04-23 21:30:36

【案例+PPT】普元信息臧一超：海量数据下“流批一体”的数据平台演进路线

“數據中臺新範式”雲端峯會，深入解析湖倉一體、批流一體、治理與運營“三位一體”的數據中臺新範式特徵，普元信息數智研究院副院長臧一超在峯會發表演講《海量數據下的高性能流批一體數據開發平臺》。 18分鐘完整回放視頻見文末，拎幾個特別精彩的內

原創 2024-04-23 11:43:51

教你如何搞定springboot集成kafka

本文分享自華爲雲社區《手拉手入門springboot+kafka》，作者：QGS。 安裝kafka 啓動Kafka本地環境需Java 8+以上 Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。

原創 2024-05-16 22:58:25

O2OA平台流程催办怎么做

O2OA平臺設計了靈活的消息提醒數據交互方式，開發者可以根據自己的需要，來消費消息提醒數據，也可以將消息提醒數據接入到Kafka消息中間件來實現消息的準實時提醒。本篇主要介紹如何在O2OA服務器中設置流程的催辦提醒消息。   催辦

原創 2024-05-16 22:48:44

Flink1.12 文档

API 移除掉 ExecutionConfig 中過期的方法 移除掉了 ExecutionConfig#isLatencyTrackingEnabled 方法, 你可以使用 ExecutionConfig#getLatencyTracki

osc_bv96h8zs 2024-05-13 21:17:28

TiDB + ES：转转业财系统亿级数据存储优化实践

以下文章來源於轉轉技術 ，作者戴美琪 導讀 本文詳細介紹了轉轉業財系統億級數據存儲優化的實踐。面對系統數據量大、慢查詢多等挑戰，轉轉業財採取了 TiDB 方案優化數據量問題，同時引入 Elasticsearch（ES）解決慢查詢難題。實踐表

原創 2024-05-13 11:16:34

Sermant在异地多活场景下的实践

本文分享自華爲雲社區《Sermant在異地多活場景下的實踐》，作者：華爲雲開源。 Sermant社區在1.3.0和1.4.0版本相繼推出了消息隊列禁止消費插件和數據庫禁寫插件，分別用於解決異地多活場景下的故障切流和保護數據一致性問題。本文將

原創 2024-05-08 10:34:22

kafka更新元数据失败问题研究

現象 kafka-admin-client-thread線程打印: AdminMetadataManager.updateField Metadata update failed: org.apache.kafka.common.error

原創 2024-04-24 23:18:37

用DolphinScheduler轻松实现Flume数据采集任务自动化！

轉載自天地風雷水火山澤 目的 因爲我們的數倉數據源是Kafka，離線數倉需要用Flume採集Kafka中的數據到HDFS中。 在實際項目中，我們不可能一直在Xshell中啓動Flume任務，一是因爲項目的Flume任務很多，二是一旦Xsh

原創 2024-04-24 21:18:09

工程中实践的微服务设计模式

最近在讀《微服務架構設計模式》，開始的時候我非常的好奇，因爲在我印象中，設計模式是常說的那23種設計模式，而微服務的設計模式又是什麼呢？這個問題也留給大家，在文末我會附上我對這個問題的理解。本次文章的內容主要是工作中對微服務設計模式的應

原創 2024-04-19 23:17:23