原创 Spark-2.4.0 源碼學習系列《通信框架》之Dispatcher
Dispatcher是Spark通信框架中的消息分發器，會在NettyRpcEnv初始化的時候創建，NettyRpcEnv的初始化過程我們以後再談，現在我們先看一下Dispatcher初始化時都幹了哪些事。 private
2020-06-23 10:52:39
原创 《Flink 使用 JDBCAppendTableSink 操作 Mysql入門示例》 Java版
前面寫了個Flink操作Mysql的示例，Scala版本的，不過是對照源碼的翻譯。這兩天使用Java開發（boss說不要用scala），這裏貼一下使用方法。超簡單的，大家注意看下代碼。 mysql相關的依賴（kafka的自行添加）
2020-06-23 10:18:28
1
原创 State TTL in Flink 1.8.0: How to Automatically Cleanup Application State in Apache Flink (轉載)
https://flink.apache.org/2019/05/19/state-ttl.html（有空再翻譯吧 ^_^） 19 May 2019 Fabian Hueske (@fhueske) & Andrey Zagrebin A
2020-06-23 10:18:28
1
原创 《StreamSets安裝及Mysql數據同步入門示例》
一、安裝部署 1.1. jar包下載： https://archives.streamsets.com/datacollector/3.7.2/tarball/streamsets-datacollector-core-3.7.2.tgz
2020-06-23 10:18:28
17
原创 Introducing Complex Event Processing (CEP) with Apache Flink(轉載)
目錄 Introducing Complex Event Processing (CEP) with Apache Flink Monitoring and alert generation for data centers Implem
2020-06-23 10:18:28
原创 《Flink 技術內幕之 Data Streaming Fault Tolerance》(官網翻譯)
目錄 一、介紹 二、Checkpoint 三、Barriers 四、State 五、精確一次和至少一次 六、異步狀態快照 七、Recovery 八、Operator 快照實現 一、介紹 Apache Flink提供了一種容錯機制，可以
2020-06-23 10:18:28
原创 數據湖 | Apache Hudi 設計與架構最強解讀
目錄 1. 簡介 2. 設計原則 2.1 流式讀/寫 2.2 自管理 2.3 萬物皆日誌: 2.4 鍵-值數據模型 3. 表設計 3.1 時間軸 3.2 數據文件 3.3 索引 4. 表類型 4.1 寫時複製（CopyOnWrite）表
2020-06-23 10:18:28
原创 Flink集成Apollo實現獲取配置信息
Apollo GitHub地址（除了代碼，都是中文）：https://github.com/ctripcorp/apollo Java客戶端使用指南：https://github.com/ctripcorp/apollo/wiki/Jav
2020-06-23 10:18:28
22
原创 CentOS7 Yum安裝指定版本MySQL（轉載）
https://baijiahao.baidu.com/s?id=1651079376862052761&wfr=spider&for=pc
2020-06-23 10:18:28
原创 Flink on Yarn 日誌輸出
Flink on Yarn 模式下，業務應用內部配置的 logback.xml/log4j.properties 是無法加載的，Flink 會默認採用安裝目錄下的 $FLINK_HOME/logback.xml/log4j.propert
2020-06-23 10:18:28
3
原创 SQuirreL通過Phoenix連接阿里雲HBase2.X
SQuirreL通過Phoenix連接阿里雲HBase2.X SQuirreL安裝 1.1 SQuirreL下載 https://pilotfiber.dl.sourceforge.net/project/squirrel-sql/1-s
2020-06-23 10:18:22
原创 生態 | Apache Hudi集成Apache Zeppelin（轉載）
https://mp.weixin.qq.com/s/_mNwL5uXSDYyqtLDPx0iDA
2020-04-29 19:58:16
原创 Flink集成Apollo獲取配置V2
上一篇介紹了使用基礎Java客戶端接入Apollo的示例,有同學反映在分佈式環境下獲取不到Apollo配置，只能在main方法中初始化使用,姿勢不夠優雅。 這裏將Apollo的Java客戶端將Flink官方推薦的ParameterTool
2020-04-29 09:16:17
1
原创 使用Apache Avro序列化、反序列化數據
本文通過兩個示例介紹如何使用avro序列化，反序列數據（Avro的簡介請參閱：https://blog.csdn.net/Mathieu66/article/details/105601509）。 我們知道使用Avro序列化、反序列化數據
2020-04-19 00:10:40
原创 HBase建表報錯：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
轉載自：https://blog.csdn.net/RONE321/article/details/99940862?depth_1-utm_source=distribute.pc_relevant.none-task-blog-Blo
2020-04-15 10:15:09
7