原创 「バースデイソング」(生日歌)

今天是世界上最可愛的姑娘 @小阿嫵 的生日,祝她生日快樂~ 也祝我們在一起能永遠快樂~ https://y.qq.com/n/yqq/song/5097841_num.html?ADTAG=h5_playsong&no_redirect=

原创 大數據流的在線Heavy Hitters算法(下篇):基於略圖的方法

Continue... 之前有好幾篇分上下篇寫的文章都鴿了,慚愧慚愧。爲了不食言,今天繼續聊Heavy Hitters(頻繁項)算法之基於略圖(Sketch)的方法。時間緊張且限於水平,寫得簡單些,看官勿怪。 什麼是略圖 顧名思義,略圖(S

原创 Flink流量控制與反壓機制完全總結

前言 筆者最近回顧自己對Flink技術棧細節的理解,發現對Flink的網絡棧、流控與反壓這一套機制存在比較大的盲區。雖然平時多次處理過作業反壓的問題,但是不完全理解背後的實現顯然說不過去。於是專門寫一篇總結,站在大佬們的肩膀上徹底搞清楚Fl

原创 聊聊ClickHouse MergeTree引擎的固定/自適應索引粒度

前言 我們在剛開始學習ClickHouse的MergeTree引擎時,建表語句的末尾總會有SETTINGS index_granularity = 8192這句話(其實不寫也可以),表示索引粒度爲8192。在每個data part中,索引粒

原创 大數據流的在線Heavy Hitters算法(上篇):基於計數器的方法

Question! 有海量(e.g. 日均千億級別)的訪問日誌流,如何在不要求結果100%精確的前提下,儘量快速地統計出被訪問次數最多的一些域名,以及它們的訪問頻率? Heavy Hitters(頻繁項)以及它衍生出來的Top-K(前K

原创 Flink SQL 1.11 on Zeppelin集成指南

前言 大數據領域SQL化開發的風潮方興未艾(所謂"Everybody knows SQL"),Flink自然也不能“免俗”。Flink SQL是Flink系統內部最高級別的API,也是流批一體思想的集大成者。用戶可以通過簡單明瞭的SQL語句

原创 ZooKeeper快速領導選舉(Fast Leader Election)機制解析

前言 假期馬上就要過去了,還是寫點什麼找找狀態比較好。翻看之前的文章,發現自己說過不少ZooKeeper的應用,但還沒有真正涉及到它的原理,那麼本文就找個切入點來聊聊吧。 Leader選舉 衆所周知,ZK是典型的Leader-Followe

原创 「歌唱祖國」&「月亮之上」

今年的10月1日恰逢國慶中秋雙節,可喜可賀。據說下一次重合要等到2031年了呢。 爲了烘托氣氛,放兩首風格截然不同的老歌吧(得意臉 https://y.qq.com/n/yqq/song/000yOWH01zlAZI.html?ADTA

原创 基於Flink+ClickHouse打造輕量級點擊流實時數倉

前言 今天事情又比較多,寫得言簡意賅一些,看官勿怪。 Flink和ClickHouse分別是實時計算和(近實時)OLAP領域的翹楚,也是近些年非常火爆的開源框架,很多大廠都在將兩者結合使用來構建各種用途的實時平臺,效果很好。關於兩者的優點就

原创 「Stones」

今天是筆者的生日。祝自己生日快樂~ 找了很多首歌,還是這一首最合適,那麼就再聽一遍吧。 2015年1月動畫《旋轉少女》第8話插曲 https://y.qq.com/n/yqq/song/201845082_num.html?ADTAG=h5

原创 Flink on YARN的第三種部署模式:Application Mode

前言 短文狀態繼續。 長久以來,在YARN集羣中部署Flink作業有兩種模式,即Session Mode和Per-Job Mode,而在Flink 1.11版本中,又引入了第三種全新的模式:Application Mode。本文先回顧兩種傳

原创 淺談Linux管道(pipe)

前言 管道(pipe)是Linux系統中重要的進程間通信(IPC)機制,又分爲匿名管道(anonymous pipe)和命名管道(named pipe/FIFO)兩種。今天用腦過度,幾句話簡單談論一下。 匿名管道 當我們在一般語境下提起管道

原创 聊聊Java中的關閉鉤子(shutdown hook)

今天折騰了半天才回到家,寫篇簡單的,然後趁早洗洗睡吧。 在Java程序退出時——尤其是非正常退出時,我們可能需要先執行一些善後工作,如關閉線程池、連接池、文件句柄等,即所謂“優雅停機”(graceful shutdown)。如何保證善後工作

原创 手撕一個LRU Cache

前言 今天時間緊張,借一道經典面試題簡單聊兩句吧。 LeetCode 146 - LRU Cache 最近最少使用緩存(LRU Cache)是一種簡單而高效的緩存機制,其思想基於局部性原理,在CPU緩存管理、操作系統內存管理以及Redis、

原创 「絶望性:ヒーロー治療薬」(絕望性:英雄治療藥)

2013年7月動畫《彈丸論破 希望學園與絕望高中生 The Animation》片尾曲 https://music.163.com/#/song?id=27712729 還記得當時爲了玩到初代《彈丸論破》,省喫儉用一個月攢了一臺PSP出來(