原创 From Calcite to Tampering with Flink SQL From Calcite to Tampering with Flink SQL The End
今天爲組內同學做了題爲「From Calcite to Tampering with Flink SQL」的分享，將Markdown版講義貼在下面。 本次分享信息量極大，涵蓋Calcite基礎、Blink Planner執行原理、優化器與優
2021-10-05 16:07:36
22
原创 Flink SQL窗口表值函數（Window TVF）聚合實現原理淺析
引子 表值函數（table-valued function, TVF），顧名思義就是指返回值是一張表的函數，在Oracle、SQL Server等數據庫中屢見不鮮。而在Flink的上一個穩定版本1.13中，社區通過FLIP-145提出了窗口
2021-09-25 10:54:57
1
原创 「十五の月」（十五的月亮）
中秋快樂！來聽首應景的歌吧。 2017年1月動畫《urara迷路帖》角色歌 https://y.qq.com/n/ryqq/songDetail/004LMVTz1p4c9M?songtype=0&ADTAG=h5_playsong 「十
2021-09-25 10:54:47
原创 「I believe what you said」
時隔三個月之後的第一首歌詞，當然要搞搞事情了（ 2020年10月動畫《寒蟬泣之時 業》（ひぐらしのく頃に 業）片頭曲 https://y.qq.com/n/ryqq/songDetail/003htYpA2mlAQQ?songtype=0&
2021-08-10 02:51:18
原创 無縫更改ClickHouse物化視圖SELECT邏輯的方法
累成狗的一天，繼續超短文模式。 在我司的ClickHouse DWS層有一張ReplicatedAggregatingMergeTree引擎的物化視圖，爲近線推薦業務提供關鍵用戶行爲的計數值。該物化視圖的底表（即所謂“inner”表）有兩張
2021-07-31 06:17:44
原创 Flink on Zeppelin問題四則（並沒有優雅的解決方案
前言 最近我們正式調研Zeppelin作爲Flink SQL開發套件的可能性，於是clone了最新的Zeppelin v0.10-SNAPSHOT源碼，自行編譯並部署到了預發佈環境的新Flink集羣中。Flink版本爲1.13.0，Hado
2021-07-31 06:17:44
3
原创 Flink JobManager佔用註冊端口引起的小問題
繼續超短流水賬一篇。 今天午飯時間，一個向來非常穩定的Flink on YARN任務忽然持續報警。查看TaskManager日誌均沒有問題，但JobManager日誌內報出大量Connection reset by peer信息，其中更夾雜
2021-07-16 11:00:13
原创 爲TiDB DM添加阿里雲RDS/DMS Online DDL支持
Foreword 停更了好幾個月，在百忙之中抽點時間寫篇小的流水賬吧。 Online DDL即無鎖表結構變更，能夠避免對錶（尤其是大表）進行更改時，長時間阻塞DML操作。我們當前採用TiDB的DM組件實現上游許多業務庫的合庫合表與數據匯聚，
2021-07-16 11:00:13
2
原创 「たべてあげる」（幫你喫掉吧）
今天是我們在一起的9週年紀念日。時間過得真快啊。 餘生請繼續多多指教~ Nintendo Switch遊戲《每日♪ 衛宮家今天的飯》主題曲 （這個遊戲跳票之後恰好是在今天正式發售，interesting） 「たべてあげる」 （NSゲー
2021-05-09 19:57:08
1
原创 脫離ZooKeeper依賴的Kafka Controller Quorum（KRaft）機制淺析
前言 好久沒有更新過博客了，在百忙之中抽出一點時間來寫兩筆吧。 相信這幾天大家正在被“Kafka要棄用ZooKeeper”的消息刷屏，並且無一例外地將其視爲這個老當益壯的消息系統近年來最重大的變革。當然，由於ZooKeeper在Kafka中
2021-05-09 19:57:08
24
原创 「ピンクレモネード」（粉色檸檬水）
三月都快要過去了，怎麼能不來一首「三月的幻想」的歌呢hhh 2018年10月動畫《只要貝爾哲布布大小姐喜歡就好。》片頭曲 https://y.qq.com/n/yqq/song/001HmP402UkfP6.html?ADTAG=h5_pl
2021-04-04 09:40:29
3
原创 實戰自定義Flink SQL Connector（w/ Flink 1.11 & Redis）
Foreword Flink SQL之所以簡潔易用而功能強大，其中一個重要因素就是其擁有豐富的Connector（連接器）組件。Connector是Flink與外部系統交互的載體，並分爲負責讀取的Source和負責寫入的Sink兩大類。不過
2021-03-28 23:45:34
18
原创 一例TiDB DM同步任務寫衝突的分析與解決
提出問題 我們當前通過5個DM任務從RDS MySQL向TiDB同步數據。這些任務均非合庫合表任務，且同步的庫表相互之間沒有交集，safe-mode均未顯式打開，Syncer線程數16。且除DM任務外，幾乎沒有其他寫入動作。 同步開始後，通
2021-03-28 23:45:34
原创 「戀のうた」（戀之歌）
很久沒翻譯過歌詞了。今天是個特殊的日子，當然要放一首珍藏的出來。 祝大家情人節快樂~ 2020年10月動畫《總之就是非常可愛》片頭曲 https://music.163.com/#/song?id=1484336476 「戀のうた（fea
2021-03-28 23:45:34
原创 Flink SQL流式聚合Mini-Batch優化原理淺析
前言 流式聚合（streaming aggregation）是我們編寫實時業務邏輯時非常常見的場景，當然也比較容易出現各種各樣的性能問題。Flink SQL使得用戶可以通過簡單的聚合函數和GROUP BY子句實現流式聚合，同時也內置了一些優
2021-03-28 23:45:24
5