原创 【Druid 實戰】Druid 的 SQL 中文亂碼問題（avatica）
場景 今天使用Druid，通過avatica客戶端去查詢的時候，發現返回值爲空 select xx from table where a = '開心' 發現交互的時候，返回的Response裏面返回的查詢語句竟然是 select
2020-07-03 08:29:53
11
原创 【Flink博客閱讀】 Flink 作業執行深度解析(WordCount) 讀後實戰總結
Flink 作業執行解析 所有有關Flink作業執行的介紹都包含以下的這個流程，今天我們就是實戰一些這些轉換是如何完成的？ CodeStreamGraphJobGraphExecutionGraph物理執行計劃 StreamGr
2020-06-27 05:39:38
5
原创 最近總結出來的一個素質N連方法論
對一門新技術的考量 1. 你的應用場景是什麼？ 確定需求 2. 你是怎麼用的？ 可以看出這個問題的解決方案。 3. 解決了你的應用場景的什麼問題？ 可以看出對應用場景是否真正的理解。 4. 相比於其它的有什麼優勢？ 可以看出是否舉
2020-06-20 06:10:45
原创 K8S-鏡像管理（安裝harbor）
首先我現在我也不知道harbor是個什麼東西？ 後面會知道的。 先安裝一下： Centos7.x 虛擬機 下載 https://github.com/goharbor/harbor/ 我這邊下載的離線版本的 安裝 查看版本 [ro
2020-06-19 21:59:30
原创 FlinkX 代碼總體結構
總體結構 可以看出來裏面就一個Flink-Core 然後和 DataX 類似 都是 Core + Plugin的結構 具體看一下 Plugin的結構 也是Core + Reader + Writer的結構。
2020-06-19 21:59:30
1
原创 《Redis讀書筆記》 服務器 客戶端 設計
文章目錄服務器服務器初始化初始化服務器狀態結構載入配置項初始化服務器事後檢查加載持久化數據執行事件循環服務器處理客戶端請求定時處理數據結構客戶端數據結構 服務器 Redis 服務器是典型的一對多服務器程序：一個服務器可以與多個客戶
2020-06-19 21:59:30
原创 Flink 實戰(十二) Flink 多Sink的數據一致性驗證
FlinkHbaseSink1kafkaSink2 這種場景下面當hbase寫入的失敗的時候，不影響kakfa的寫入。 如何保證hbase和kafka都寫入成功呢？
2020-06-19 21:59:30
原创 【Flink博客閱讀】 Flink Runtime 核心機制剖析-讀後總結
Flink Runtime 核心機制剖析 讀後總結 從這篇文章裏面可以主要解釋了以下的問題: Flink整體是一個什麼樣的架構？ master-slave Flink 執行過程中有哪些組件？ Master Dispatche
2020-06-16 10:08:59
原创 Flink 實戰(十一) Flink SideOutput 在風險預警場景下的應用
風險預警場景 背景 在風險預警的場景下，當預警消息需要發送給用戶的時候，往往會根據不同的預警等級通過不同的渠道對用戶進行內容的通知。 預警等級 預警渠道 重大風險 短信、釘釘 一般風險 短信、站內信 提示風險
2020-06-16 10:08:58
原创 Flink 應用場景資料整理
Flink 最近flink的熱度也越來越高，它是什麼？參考官網（https://flink.apache.org） 那麼它能幹什麼是我們今天的重點。 官方也提供了很好的學習環境和實戰資料，但是對於資料沒有更細粒度的劃分，我基於F
2020-06-06 12:31:51
原创 FlinkX斷點續傳原理
FlinkX斷點續傳原理 聲明： 前半部分官方文檔+貼實現代碼 前提條件 同步任務要支持斷點續傳，對數據源有一些強制性的要求： 數據源（這裏特指關係數據庫）中必須包含一個升序的字段，比如主鍵或者日期類型的字段，同步過程中會使
2020-06-06 12:31:51
原创 Flink的實時同步(轉載官方文檔)
Flink的實時同步(轉載官方文檔) 根據數據源的數據是否實時變化可以把數據同步分爲離線數據同步和實時數據同步，上面介紹的斷點續傳就是離線數據同步裏的功能，實時採集其實就是實時數據同步，當數據源裏的數據發生了增刪改操作，同步任務監
2020-06-06 12:31:51
原创 FlinkX 部署
FlinkX 部署 運行概述 執行環境 Java: JDK8及以上 Flink集羣: 1.4及以上（單機模式不需要安裝Flink集羣） 操作系統：理論上不限，但是目前只編寫了shell啓動腳本，用戶可以可以參考shell腳本編寫
2020-06-06 12:31:51
5
原创 FlinkX 分片讀取原理
FlinkX 分片讀取原理 在數據同步工具中,將數據從源頭讀取到數據緩存是最重要的一環之一，算是左膀。所以在整個流程，從技術場景上，一定要支持數據的分片與並行讀取、流控，從業務角度上，需要支持髒值處理與增量讀取。 而今天重點來探
2020-05-24 21:14:40
3
原创 FlinkX髒值處理
FlinkX髒值處理 在大量數據的傳輸過程中，必定會由於各種原因導致很多數據傳輸報錯(比如類型轉換錯誤)，這種數據DataX認爲就是髒數據。
2020-05-24 21:14:40
4