原创 Docker常用命令
目錄 一、幫助命令 1. 查看docker版本 2. 查看docker信息 3. 查看docker幫助命令 二、鏡像命令 1. 列出本地主機上的鏡像 2. 查詢鏡像 3. 下載鏡像 4. 刪除鏡像 三、 容器命令 1. 新建並啓動容器 2
2020-03-28 18:27:44
原创 布隆過濾器（Bloom Filter）
目錄 1. 什麼是布隆過濾器 2. 基本原理 3. 誤判率及相關計算 4. 改進：計數 Bloom Fliter 1. 什麼是布隆過濾器 布隆過濾器（Bloom Filter後文簡稱BF）是由Howard Bloom 在1970年提出的二
2020-03-07 02:19:32
原创 虛擬機類加載機制
目錄 1. 什麼是類加載機制？ 2. 什麼時候進行類加載？ 3. 類加載時都幹了啥？ 3.1 加載 3.2 驗證 3.3 準備 3.4 解析 3.5 初始化 4. 什麼是類加載器？ 4.1 類與類加載器的關係 4.2 雙親委派模型 1.
2020-03-07 02:19:32
原创 versions-maven-plugin插件批量修改版本號
轉自： https://www.jianshu.com/p/88da01804d3c ## 更改（有backup文件） mvn versions:set -DnewVersion=1.2.0-SNAPSHOT ## 回滾 （沒有bac
2020-02-26 11:53:29
原创 Flink on Yarn 日誌滾動實現
Flink on Yarn 模式下，業務應用內部配置的 logback.xml/log4j.properties 是無法加載的，Flink 會默認採用安裝目錄下的 $FLINK_HOME/logback.xml/log4j.propert
2020-02-20 22:30:04
原创 DataLake（轉載）
DataLake 5 February 2015 Martin Fowler Data Lake is a term that's appeared in this decade to describe an important com
2020-02-20 22:30:04
原创 Java8 DateUtils
package com.xianhgu.ts.date; import com.xiaghu.ts.string.StringUtils; import org.slf4j.Logger; import org.slf4j.Logge
2020-02-20 22:30:04
原创 Flink 停機恢復（savepoint）入門示例
目標：使用flink從socket接收字符串，根據空格分割成單詞，統計單詞出現的次數。使用savepoint取消任務，恢復，使計算從上一次停止的地方繼續。 主程序： package com.ccclubs.state; import
2019-08-28 15:28:27
原创 Akka and Actors
目錄 Akka and Actors Akka and the Actor Model Actor Systems Actors in Flink JobManager & TaskManager JobClient Asynchrono
2019-06-12 18:56:33
原创 Juggling with Bits and Bytes(轉載)
目錄 Juggling with Bits and Bytes How Apache Flink operates on binary data Data Objects? Let’s put them on the heap! What
2019-06-10 16:18:51
原创 Continuous Queries on Dynamic Tables（轉載）
目錄 Continuous Queries on Dynamic Tables Why is SQL on Streams a Big Deal? Flink’s Relational APIs: Table API and SQL Co
2019-06-10 16:18:51
3
原创 Flink有狀態計算入門示例
需求：從socket接收字符串，按空格分隔成單詞，統計單詞出現的次數。 直接看代碼吧。 主函數： FlinkStatefulCalcTest.java package com.ccclubs.flink; import org.ap
2019-04-12 15:21:49
原创 《Flink 技術內幕之 Jobs and Scheduling》（官網翻譯）
目錄 一、Scheduling 二、JobManager Data Structures 本文簡要描述了Flink如何調度作業，以及它如何表示和跟蹤JobManager的作業狀態。 一、Scheduling Flink中的執行資源是通過任
2019-04-08 18:58:01
原创 《Flink 技術內幕之Data Streaming 容錯》(官網翻譯)
目錄 一、介紹 二、Checkpoint 三、Barriers 四、State 五、精確一次和至少一次 六、異步狀態快照 七、Recovery 八、Operator 快照實現 一、介紹 Apache Flink提供了一種容錯機制，可以
2019-04-08 15:17:36