原创 kafka-connect-distribute 模式，使用 debezium source 同步 MongoDB 集羣到 Kafka
從flink社區看到 MongoDB -> Debezium -> Kafka 作爲 Flink datasource 的方案，試着搭了一套。 MongoDB 使用副本+分片 Debezium 作爲 Kafka Connect 的插件，首
2020-06-01 10:42:30
6
原创 flink DataSet 連接 mongos集羣使用mongo-hadoop
flink 官方示例比較簡單，也很久沒更新過了。 mongos生產集羣需要認證權限，按文檔提示配置好規則，這裏output到測試庫，所以沒配置太多 這裏是單線程讀取，還不清楚可不可以通過配置實現並行讀取。 import com.mong
2020-06-01 10:42:30
原创 啓動Scala [ERROR] Failed to construct terminal; falling back to unsupported
參考stackoverflow答案：https://stackoverflow.com/questions/44317384/sbt-error-failed-to-construct-terminal-falling-back-to-u
2020-03-04 07:24:47
原创 Flink KeySelector示例，選擇多個字段作爲key
public class RecordSeclectId implements KeySelector<Record, String> { private static final long serialVersionUID =
2019-06-10 20:41:08
原创 Flink standalone集羣HA高可用搭建
dfs沒準備好...需要配置dfs路徑的位置都用的本地file替換了,倒也能啓動，但不要這樣用 HA 配置爲 3masters 3slavers java1.8->scala2.12->zookeeper3.4.14->flink1.8.
2019-06-10 20:41:08
1
原创 Debezium source 連接 MongoDB 集羣與 Kafka
從flink社區看到 MongoDB -> Debezium -> Kafka 作爲 Flink datasource 的方案，試着搭了一套。 MongoDB 使用副本+分片 Debezium 作爲 Kafka Connect 的插件，首
2019-05-11 08:21:21
47
原创 Kafka Manager與Kafka SASL+ACL配置
根據需求，給 Kafka 集羣配置不使用 Kerberos 的 SASL+ACL 。Kafka 配置部分參考資料比較充足，這裏參考了胡夕老師的《Apache Kafka 實戰》中相關章節，配置過程順利。Kafka Manager監控配置了
2019-04-10 18:17:08
1
原创 【Intellij idea】Exception in thread "main" java.lang.NoClassDefFoundError:
參考@街燈下的小草 的這篇文章解決這個問題https://blog.csdn.net/yhl_jxy/article/details/78872641 使用IntelliJ IDEA啓動Flink項目出現Exception in thr
2019-03-14 17:35:35
原创 【備忘】Kafka-consumer-groups.sh查看重置offset
使用kafka提供的腳本查看和修改消費者組offset 查看： kafka-consumer-groups.sh --bootstrap-server ip:9092 --group testConsumer --describe 修改
2019-03-14 17:35:35
原创 Mac傻瓜式git、go get代理教學
git config --global https.proxy http://127.0.0.1:1086 git config --global https.proxy https://127.0.0.1:1086 git config
2018-09-18 08:27:53
原创 隨筆，一些小問題
記 今天遇到的一些問題。 列表extend和append的區別 extend要求接受的元素爲列表，並將列表逐個擴編到原列表 append接受的參數可以是任何數據類型，整建制地追加到原列表最後一個元素位置 裝飾器 可以讓其他函數在
2018-09-18 08:27:52