kakfa學習筆記

原創 copy_O_move 2020-05-06 08:09

1.kakfa環境搭建

安裝：下載安裝包解壓即可

參考：

Kafka安裝啓動入門教程

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

教你如何搞定springboot集成kafka

本文分享自華爲雲社區《手拉手入門springboot+kafka》，作者：QGS。 安裝kafka 啓動Kafka本地環境需Java 8+以上 Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。

原創 2024-05-16 22:58:25

O2OA平臺流程催辦怎麼做

O2OA平臺設計了靈活的消息提醒數據交互方式，開發者可以根據自己的需要，來消費消息提醒數據，也可以將消息提醒數據接入到Kafka消息中間件來實現消息的準實時提醒。本篇主要介紹如何在O2OA服務器中設置流程的催辦提醒消息。   催辦

原創 2024-05-16 22:48:44

Flink1.12 文檔

API 移除掉 ExecutionConfig 中過期的方法 移除掉了 ExecutionConfig#isLatencyTrackingEnabled 方法, 你可以使用 ExecutionConfig#getLatencyTracki

osc_bv96h8zs 2024-05-13 21:17:28

TiDB + ES：轉轉業財系統億級數據存儲優化實踐

以下文章來源於轉轉技術 ，作者戴美琪 導讀 本文詳細介紹了轉轉業財系統億級數據存儲優化的實踐。面對系統數據量大、慢查詢多等挑戰，轉轉業財採取了 TiDB 方案優化數據量問題，同時引入 Elasticsearch（ES）解決慢查詢難題。實踐表

原創 2024-05-13 11:16:34

愛奇藝數據湖實戰 - 實時湖倉一體化

01    概述 數據是洞察用戶、市場、運營決策的基礎資料，在愛奇藝被廣泛應用在推薦、廣告、用戶增長、營銷等場景中。愛奇藝大數據業務之前採用 Lambda 架構，滿足海量

愛奇藝技術產品團隊 2024-05-09 01:18:23

Sermant在異地多活場景下的實踐

本文分享自華爲雲社區《Sermant在異地多活場景下的實踐》，作者：華爲雲開源。 Sermant社區在1.3.0和1.4.0版本相繼推出了消息隊列禁止消費插件和數據庫禁寫插件，分別用於解決異地多活場景下的故障切流和保護數據一致性問題。本文將

原創 2024-05-08 10:34:22

kafka更新元數據失敗問題研究

現象 kafka-admin-client-thread線程打印: AdminMetadataManager.updateField Metadata update failed: org.apache.kafka.common.error

原創 2024-04-24 23:18:37

用DolphinScheduler輕鬆實現Flume數據採集任務自動化！

轉載自天地風雷水火山澤 目的 因爲我們的數倉數據源是Kafka，離線數倉需要用Flume採集Kafka中的數據到HDFS中。 在實際項目中，我們不可能一直在Xshell中啓動Flume任務，一是因爲項目的Flume任務很多，二是一旦Xsh

原創 2024-04-24 21:18:09

工程中實踐的微服務設計模式

最近在讀《微服務架構設計模式》，開始的時候我非常的好奇，因爲在我印象中，設計模式是常說的那23種設計模式，而微服務的設計模式又是什麼呢？這個問題也留給大家，在文末我會附上我對這個問題的理解。本次文章的內容主要是工作中對微服務設計模式的應

原創 2024-04-19 23:17:23

GaussDB(DWS)基於Flink的實時數倉構建

本文分享自華爲雲社區《GaussDB(DWS)基於Flink的實時數倉構建》，作者：胡辣湯。 大數據時代，廠商對實時數據分析的訴求越來越強烈，數據分析時效從T+1時效趨向於T+0時效，爲了給客戶提供極速分析查詢能力，華爲雲數倉GaussDB

原創 2024-04-18 10:32:57

用海豚調度器定時調度從Kafka到HDFS的kettle任務腳本

在實際項目中，從Kafka到HDFS的數據是每天自動生成一個文件，按日期區分。而且Kafka在不斷生產數據，因此看看kettle是不是需要時刻運行？能不能按照每日自動生成數據文件？ 爲了測試實際項目中的海豚定時調度從Kafka到HDFS的K

原創 2024-04-15 21:18:44

更優性能與性價比，從自建 ELK 遷移到 SLS 開始

作者：荊磊 背景 ELK (Elasticsearch、Logstash、Kibana) 是當下開源領域主流的日誌解決方案，在可觀測場景下有比較廣泛的應用。 隨着數字化進程加速，機器數據日誌增加，自建 ELK 在面臨大規模數據、查詢性能等方

原創 2024-04-15 21:12:22

kafka 異常記錄

Group coordinator 10.0.17.89:9094 (id: 2147483646 rack: null) is unavailable or invalid, will attempt rediscovery 原因：當前消

原創 2024-04-07 13:07:04

TiDB 實戰分享丨第三方支付企業的核心數據庫升級之路

本文介紹了一家第三方支付企業在面對市場競爭和監管壓力的態勢下，通過升級核心數據庫來提升業務能力的實踐。該企業選擇 TiDB 分佈式數據庫，成功將其應用於核心業務、計費、清結算和交易查詢等關鍵系統。TiDB 的水平擴展能力、高可用性和簡化數據

原創 2024-04-05 22:23:16

案例|民生銀行Zabbix潛望者管理平臺建設

（本文整理自民生銀行王斐在2023Zabbix中國峯會上的演講，點擊圖片查看視頻，更多內容可在B站“Zabbix中國”查看） 大家好，我是來自民生銀行的王斐，給大家分享民生銀行在Zabbix相關管理上的應用成果，還有Zabb

原創 2024-04-02 22:13:17