原创 （跳躍）一致性哈希及其在Greenplum中的應用
前言 一致性哈希（consistent hashing）是分佈式系統中非常重要的算法，在平滑擴縮容、動態負載均衡等方向有大量應用。相對於傳統的線性（取模）哈希算法，一致性哈希可以保證在分佈式哈希表中的桶數量發生變化時，受到影響需要重新映射的
2021-03-28 23:45:24
3
原创 Flink SQL高效Top-N方案的實現原理
昨天的文章裏恰好用Top-N Function來舉了例子，那麼擇日不如撞日，今天接着聊吧。 Top-N Top-N是我們應用Flink進行業務開發時的常見場景，傳統的DataStream API已經有了非常成熟的實現方案，如果換成Flink
2021-01-08 01:04:37
1
原创 Flink SQL空閒狀態保留時間（idle state retention time）實現原理
前言 如果要列舉Flink SQL新手有可能犯的錯誤，筆者認爲其中之一就是忘記設置空閒狀態保留時間導致狀態爆炸。2021年的第一篇技術文，時間很緊張，聊聊這個簡單的話題吧。 爲什麼要設置 如果我們在數據流上進行分組查詢，分組處理產生的結果（
2021-01-07 01:08:43
1
原创 「ひとり旅」（獨自旅行）
新年第一天（快要過去了哈哈），按照慣例，奉上前一年的年度冠軍單曲（就是個人歌單裏播放量最高的那個XD），作爲紀念。 非常好聽。祝各位新年快樂~~~ https://y.qq.com/n/yqq/song/0041rDN42KJCic.h
2021-01-03 01:03:14
原创 2020。
2020年最後一天的最後一個小時了，還是來隨便寫兩句吧。 技術/工作 有幸見證了我司業務的急速擴張，當然也全程參與了大數據架構的迭代與演進過程，特別是主導了實時數倉體系的建設。累，但收穫頗豐，非常值得。 Flink已經成爲流式計算的事實標準
2021-01-01 01:01:33
原创 解決TiKV節點JBD2進程I/O佔用高的問題
今天事情甚多，草草寫一篇，儘量趕在1點之前休息。 問題 我們的TiDB集羣上線以來，所有TiKV節點的所有磁盤I/O Util指標總是偏高，大多數時候在50%以上，極端情況下接近90%。集羣採用的阿里雲ECS配備的都是PL2級別的ESSD雲
2020-12-29 00:58:09
原创 聊聊ClickHouse中的低基數（LowCardinality）類型
2020年快要過去了，寫博客的習慣還是得撿起來。最近剛剛忙完搬家的事情，抽出一點時間簡單聊兩句。 爲什麼要有LowCardinality 在常見數據庫系統的類型體系中，字符串是最靈活、表意性最強的類型，但是存儲成本無疑也最高。ClickHo
2020-12-28 04:49:40
原创 漫談Google Percolator分佈式事務
前言 前段時間忙雙11忙到廢寢忘食，這期間又被各種奇奇怪怪的小病折騰了半個多月，整個人狀態不是很好，博客也連續喫灰到現在，請看官勿怪。好在今天感覺還不錯，可以繼續寫點東西了。 爲了應對業務數據的爆炸性增長以及MySQL業務庫分庫分表現狀的各
2020-12-06 17:12:23
原创 「無くした日々にさよなら」 （向逝去的日子說再見）
雙11即將過去，後面十幾天還有更嚴峻的挑戰。還是先喝杯茶（有助於睡眠的那種），稍微休息一會，順便放首舒緩的歌聽聽吧。 民那晚安晚安。 2016年4月動畫《在下坂本，有何貴幹？》片尾曲 https://y.qq.com/n/yqq/song/
2020-11-12 17:17:59
原创 理解Scala語言中Null/Nothing/Nil/None/Unit的區別
Prologue Scala語言雖然是構建在JVM體系之上的，但爲了適應函數式編程的需要，它的語法和Java幾乎完全不同，在很多基礎層面——比如類型系統——也是自成一派的。在Scala類型系統中，Null、Nothing、Nil、None、
2020-11-09 17:12:04
原创 淺談Java SPI原理與其在JDBC、Flink中的應用
API vs SPI API（Application Programming Interface）的概念對我們來說已經是見怪不怪了。在日常開發過程中，我們需要調用平臺/框架提供的API，而我們的下游應用也需要調用上游提供的API。一句話：A
2020-11-04 17:10:28
1
原创 「Happy Halloween」
最近技術文章寫得少，並不是偷懶耍滑，實在是因爲工作上的事情太多，看官勿怪。 今晚是萬聖節前夜（沒錯其實明天才是真正的萬聖節——All Hallow's Day）。那麼，從連續六天的壓力中解脫出來，一起聽首應景的歌兒吧。 雙人版：https:
2020-11-02 17:10:21
原创 高吞吐量Flume Agent調優小結
前言 所有電商企業在一年一度的雙11都要迎來大促與大考，我司也不例外（所以最近真是前所未有的忙亂）。前段時間在配合執行全鏈路壓測的過程中，發現平時不太關注的Flume配置可能存在瓶頸。Flume在筆者負責的實時計算平臺裏用於收集所有後端訪問
2020-10-28 17:10:10
原创 Kafka Partition重分配流程簡析
節日快樂~ 今天是屬於廣大程序員的節日，祝自己快樂hhhhhh 隨着業務量的急速膨脹和又一年雙11的到來，我們會對現有的Kafka集羣進行擴容，以應對更大的流量和業務尖峯。當然，擴容之後的新Kafka Broker默認是不會有任何Topi
2020-10-25 17:10:57
原创 「バースデイソング」（生日歌）
今天是世界上最可愛的姑娘 @小阿嫵 的生日，祝她生日快樂~ 也祝我們在一起能永遠快樂~ https://y.qq.com/n/yqq/song/5097841_num.html?ADTAG=h5_playsong&no_redirect=
2020-10-22 17:11:26