原创 大數據流的在線Heavy Hitters算法（下篇）：基於略圖的方法
Continue... 之前有好幾篇分上下篇寫的文章都鴿了，慚愧慚愧。爲了不食言，今天繼續聊Heavy Hitters（頻繁項）算法之基於略圖（Sketch）的方法。時間緊張且限於水平，寫得簡單些，看官勿怪。 什麼是略圖 顧名思義，略圖（S
2020-10-21 17:10:44
原创 Flink流量控制與反壓機制完全總結
前言 筆者最近回顧自己對Flink技術棧細節的理解，發現對Flink的網絡棧、流控與反壓這一套機制存在比較大的盲區。雖然平時多次處理過作業反壓的問題，但是不完全理解背後的實現顯然說不過去。於是專門寫一篇總結，站在大佬們的肩膀上徹底搞清楚Fl
2020-10-21 17:10:44
原创 聊聊ClickHouse MergeTree引擎的固定/自適應索引粒度
前言 我們在剛開始學習ClickHouse的MergeTree引擎時，建表語句的末尾總會有SETTINGS index_granularity = 8192這句話（其實不寫也可以），表示索引粒度爲8192。在每個data part中，索引粒
2020-10-18 17:52:37
原创 大數據流的在線Heavy Hitters算法（上篇）：基於計數器的方法
Question! 有海量（e.g. 日均千億級別）的訪問日誌流，如何在不要求結果100%精確的前提下，儘量快速地統計出被訪問次數最多的一些域名，以及它們的訪問頻率？ Heavy Hitters（頻繁項）以及它衍生出來的Top-K（前K
2020-10-17 00:42:07
原创 Flink SQL 1.11 on Zeppelin集成指南
前言 大數據領域SQL化開發的風潮方興未艾（所謂"Everybody knows SQL"），Flink自然也不能“免俗”。Flink SQL是Flink系統內部最高級別的API，也是流批一體思想的集大成者。用戶可以通過簡單明瞭的SQL語句
2020-10-13 18:06:12
原创 ZooKeeper快速領導選舉（Fast Leader Election）機制解析
前言 假期馬上就要過去了，還是寫點什麼找找狀態比較好。翻看之前的文章，發現自己說過不少ZooKeeper的應用，但還沒有真正涉及到它的原理，那麼本文就找個切入點來聊聊吧。 Leader選舉 衆所周知，ZK是典型的Leader-Followe
2020-10-09 17:47:46
3
原创 「歌唱祖國」&「月亮之上」
今年的10月1日恰逢國慶中秋雙節，可喜可賀。據說下一次重合要等到2031年了呢。 爲了烘托氣氛，放兩首風格截然不同的老歌吧（得意臉 https://y.qq.com/n/yqq/song/000yOWH01zlAZI.html?ADTA
2020-10-02 17:46:52
原创 基於Flink+ClickHouse打造輕量級點擊流實時數倉
前言 今天事情又比較多，寫得言簡意賅一些，看官勿怪。 Flink和ClickHouse分別是實時計算和（近實時）OLAP領域的翹楚，也是近些年非常火爆的開源框架，很多大廠都在將兩者結合使用來構建各種用途的實時平臺，效果很好。關於兩者的優點就
2020-09-28 17:47:39
原创 「Stones」
今天是筆者的生日。祝自己生日快樂~ 找了很多首歌，還是這一首最合適，那麼就再聽一遍吧。 2015年1月動畫《旋轉少女》第8話插曲 https://y.qq.com/n/yqq/song/201845082_num.html?ADTAG=h5
2020-09-25 17:47:04
原创 Flink on YARN的第三種部署模式：Application Mode
前言 短文狀態繼續。 長久以來，在YARN集羣中部署Flink作業有兩種模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三種全新的模式：Application Mode。本文先回顧兩種傳
2020-09-24 17:47:09
原创 淺談Linux管道（pipe）
前言 管道（pipe）是Linux系統中重要的進程間通信（IPC）機制，又分爲匿名管道（anonymous pipe）和命名管道（named pipe/FIFO）兩種。今天用腦過度，幾句話簡單談論一下。 匿名管道 當我們在一般語境下提起管道
2020-09-23 17:47:53
原创 聊聊Java中的關閉鉤子（shutdown hook）
今天折騰了半天才回到家，寫篇簡單的，然後趁早洗洗睡吧。 在Java程序退出時——尤其是非正常退出時，我們可能需要先執行一些善後工作，如關閉線程池、連接池、文件句柄等，即所謂“優雅停機”（graceful shutdown）。如何保證善後工作
2020-09-22 17:46:58
原创 手撕一個LRU Cache
前言 今天時間緊張，借一道經典面試題簡單聊兩句吧。 LeetCode 146 - LRU Cache 最近最少使用緩存（LRU Cache）是一種簡單而高效的緩存機制，其思想基於局部性原理，在CPU緩存管理、操作系統內存管理以及Redis、
2020-09-18 17:49:35
原创 「絶望性：ヒーロー治療薬」（絕望性：英雄治療藥）
2013年7月動畫《彈丸論破 希望學園與絕望高中生 The Animation》片尾曲 https://music.163.com/#/song?id=27712729 還記得當時爲了玩到初代《彈丸論破》，省喫儉用一個月攢了一臺PSP出來（
2020-09-16 23:24:14
原创 ClickHouse MergeTree變得更像LSM Tree了？——Polymorphic Parts特性淺析
前言 筆者在之前的文章中已經提到過，MergeTree引擎族是ClickHouse強大功能的基礎。MergeTree這個名詞是在我們耳熟能詳的LSM Tree之上做減法而來——去掉了MemTable和Log。也就是說，向MergeTree引
2020-09-16 03:06:51
1