kafka學習 -- kafka connect

原創 Tonels 2020-07-04 05:36

寫在前面

這裏 介紹幾種kafka connect 的方式，包括以下

  • kafka-connect-hdfs
  • kafka-connect-elasticsearch
  • kafka-connect-jdbc
  • kafka-connect-mongodb

待總結

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Kafka-producer-perf-test-0.10.2.1-壓測腳本改造

最近網關和業務的日誌線上都是4萬/秒，然後需要用flink算一下每個業務的異常數，週期性輸出分析結果 既然是4萬/秒，那麼我起碼得壓個10萬/秒才能安心上線，那麼問題來了，怎麼構造10萬/秒的壓力（單條消息1K） ---這裏選擇官方的Kaf

原創 2023-07-07 21:22:35

1關於flink的時間字段-ProcessTime-重新debug-讀kafka->通知觀察方(含正確腳本)

之前爲了趕項目進度(人少，沒資源)，只研究了下針對processing time，因爲這個取的是當前時間，通過爭取時間快速支撐了一些業務的上線。 而隨着業務的陸續接入，全部使用processing time已經開始有不妥之處，所以必須把這個

原創 2023-07-07 21:22:31

聊聊 Kafka：Producer 源碼解析

{"type":"doc","content":[{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"一、前言","att

老周聊架构 2021-12-17 17:58:58

聊聊 Kafka：編譯 Kafka 源碼並搭建源碼環境

{"type":"doc","content":[{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"一、前言","att

老周聊架构 2021-12-16 12:43:53

替代 Kafka？Pinterest 推出高效可擴展雲原生系統 MemQ

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

Pinterest Engineering 2021-12-15 17:03:56

聊聊 Kafka： Kafka 爲啥這麼快？

{"type":"doc","content":[{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"一、前言","att

老周聊架构 2021-12-14 13:33:55

東南亞“美團” Grab 的搜索索引優化之法

{"type":"doc","content":[{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null

Weilun Wu 2021-11-23 11:18:54

Kafka消息生成，消費，存儲機制

 Kafka是最初由Linkedin公司開發，是一個分佈式、分區的、多副本的、多訂閱者，基於zookeeper協調的分佈式日誌系統(也可以當做MQ系統)，常見可以用於web/nginx日誌、訪問日誌，消息服務等等，Linkedin於2010

原創 2021-09-15 21:10:25

監控微服務

1、監控指標     1）qps，pv     2）響應時間。大多數情況下，可以用一段時間內所有調用的平均耗時來反映請求的響應時間。但它只代表了請求的平均快慢情況，有時候我們更關心慢請求的數量。P99 = 500ms，意思是 99% 的請求

原創 2021-09-10 21:35:12

數據遷移同步平臺CloudCanal免費社區版正式發佈

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragr

罗燕珊 2021-08-06 15:13:50

深度解讀：Kafka放棄ZooKeeper，消息系統興起二次革命

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

Tina 2021-04-16 10:33:50

簡單的Kafka：沒有ZooKeeper的Kafka

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

Confluent Blog 2021-04-07 18:43:54

實時數據倉庫的發展、架構和趨勢

{"type":"doc","content":[{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null

网易数帆 2021-04-02 09:43:51

你可能用錯了kafka的重試機制

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

Dave Taubler 2021-03-22 18:35:34

Uber大型實時數據智能平臺建設

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

Uber工程博客 2021-03-22 18:35:34