原创 一次阿里雲上的kakfa集羣升級歷險記

       由於要在生產環境上debezium,筆者看到生產環境上的kafka版本是1.0.0,而現在kafka最新版本都是2.0了,於是想升級一下kafka。按照kafka的官網上的例子來升級。發現升級完kafka集羣就不可用了。

原创 分佈式Kafka HDFS Sink Connector Integrated with Hive配置

{ "name":"dev_hdfs-sink", "config":{ "connector.class":"io.confluent.connect.hdfs.HdfsS

原创 StringTemplate Demo

添加Maven依賴 <!-- https://mvnrepository.com/artifact/org.antlr/stringtemplate --> <dependency>

原创 解決Kafka HDFS Sink Connector Integrated with Hive 報錯

Kafka Connect 是distributed模式,分別運行在192.168.1.204和192.168.1.100和192.168.1.200這三臺機器上,開放了18083端口(因爲默認的8083端口被佔用了)用於向kafka c

原创 Spring Boot讀取yml配置信息到配置對象

       Spring Boot允許配置外部化,這樣同樣的代碼可以運行在不同的環境中,比如生產環境、測試環境用同一套代碼,但是連的數據庫信息可以放在應用的外部。可以使用properties文件,ymal文件,環境變量和命令行參數來使得

原创 Apache kafka是如何實現消息的精確一次(Exactly-once-semantics)語義的?

       原文鏈接:https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it/        精確

原创 捋一捋Kafka中的消費者API

       之前學習kafka的時候,知道kafka有新的consumer和舊的consumer,還有高階consumer API,低階consumer API,搞得一頭霧水,不知道他們之間的關係。今天在這兒捋一捋他們的關係。     

原创 Spring Boot獲取依賴項目中定義的bean

在A項目中定義類了一些bean,並用Spring的@Component註解標識了。 在B項目中引用了A項目,即在pom.xml的dependency中添加了項目A。 在SpringBoot啓動的時候報找不到A項目中的bean。 因爲Spr

原创 Linux shell 三十六計

本文修改自《DevOps三十六計》中的Linux shell三十六計篇,原文作者阿銘,著有《跟阿銘學Linux》一書。 特殊命令 第一計 date可以格式化輸出時間,定義文件名的前綴或者後綴。如: [root@VM_0_

原创 MyBatis中#{}和${}的三個區別

區別1: #{} 相當於JDBC SQL語句中的佔位符 “?”(PreparedStatement) ${} 相當於JDBC SQL語句中的連接符號 “+” (Statement) 所以,${} 存在SQL注入問題 區別2: #{} 進