原创 一文搞懂 Flink 中的鎖
之前在介紹 flink timer 的時候( 一文搞懂 Flink Timer ) 官網有這樣的一句話 Flink synchronizes invocations of onTimer() and processElement(). H
2020-12-28 20:28:55
1
原创 Flink 計算 PV UV
前言 使用 flink 很長一段時間了，突然發現竟然沒有計算過 pv uv，這可是 flink 常見的計算場景了，面試時也是常問題之一。故自己想了一個場景來計算一下。 基於 Flink 1.12 場景 外賣員聽單的信息會發到單獨一個 top
2020-12-28 20:28:55
1
原创 Flink 計算 TopN
前言 使用 flink 很長一段時間了，突然發現竟然沒有計算過 topN，這可是 flink 常見的計算場景了， 故自己想了一個場景來計算一下。 基於 Flink 1.12 場景 外賣員聽單的信息會發到單獨一個 topic 中，計算一個每天
2020-12-28 20:28:55
原创 一文搞懂 flink 處理水印全過程
1.正文 前面，我們已經學過了 一文搞懂 Flink 處理 Barrier 全過程，今天我們一起來看一下 flink 是如何處理水印的，以 Flink 消費 kafka 爲例 FlinkKafkaConsumer<Strin
2020-12-26 23:17:28
1
原创 一文搞懂 Flink Stream Join原理
總括 詳解 一般情況下，我們會寫如下的代碼 DataStreamSource<Tuple2<Long, Long>> addSource = env.addSource(new WordSource());
2020-11-30 20:03:16
1
原创 阻塞隊列的實現
之前看到 ArrayBlockQueue 的實現，感覺挺有意思的，自己也實現一個阻塞隊列，通過等待通知的方式，直接上代碼 package thread; import java.util.LinkedList; import java.u
2020-11-18 20:15:51
原创 領導回家生娃了
最近還是有點舒服，領導陪產假，可以去溝通需求，不好實現的就與產品方溝通，而不是不管三七二十一都能做。也不用閒着沒事加班到很晚，早點回去換能刷題蠻好！一直都認爲領導不是一個好領導，也是一面鏡子告訴自己什麼是一個好領導。發牢騷的話就不說了，專注
2020-10-21 20:02:25
原创 Flink SQL 自定義 format
1.背景 由於 kafka 中的 json 屬於嵌套，又不想二次序列化再把它展開，故自定義 format。 2.步驟 1.自定義 Factory 實現 DeserializationFormatFactory 2.自定義 Deserial
2020-10-20 20:02:45
原创 Flink SQL 自定義 Sink
1.背景 內部要做 Flink SQL 平臺，本文以自定義 Redis Sink 爲例來說明 Flink SQL 如何自定義 Sink 以及自定義完了之後如何使用 基於 Flink 1.11 2.步驟 implements Dynamic
2020-10-17 05:32:22
原创 省下來的時間去睡覺
現在越感覺現在的公衆號也好，知乎也好，簡書也好等等都在消耗我們自己。也有很多人傻兒吧唧的聽風就是雨。呼籲大家遠離沒有意義沒有價值的公衆號簡書知乎等一切消耗自己的東西。我們需要的是真正的大師，需要的是經典能夠永久指導我們自己的東西，不是那種片
2020-10-13 21:44:41
原创 僱傭關係
工資不是公司發的。是自己憑本事賺的。是我們加的每一次班寫的每一次文稿敲的每一份代碼換來的。勞而有所得。其實就是簡單的僱傭關係。我出力出時間你出錢，然後我們一起幹事情。事兒成了一起分成，事兒不成一起滾蛋。本質上就是很簡單的僱傭關係。首先要擺清
2020-10-13 21:44:41
原创 當 snapshot 失敗時發生了什麼
工作中遇到了與 snapshot 異常相關的問題，特此總結一下，與 snapshot 相關的流程圖如下： 當調用 AbstractUdfStreamOperator.snapshotState 方法時，實際上調用了 public stat
2020-10-11 21:04:24
原创 Flink 連接 hive 解決 java.net.UnknownHostException
錯誤 今天在實驗 Flink 連接 hive 的操作，由於 CDH 的 hadoop 是 HA，連接過程中報錯如下： Exception in thread "main" java.lang.IllegalArgumentException
2020-09-29 21:01:55
13
原创 跟一個人說話很累是什麼感覺
曾經有一個人，每每見到她都會莫名的開心，哪怕是很生氣，但是見到她還是會莫名的開心。不管經歷了什麼，即使她惹我生氣，我發誓見面一定要好好的批評她一頓，可是見面了就很開心，批評不起來，也生氣不起來。反倒被人家批評指責。對就是批評指責，我越來越覺
2020-09-22 21:03:29
原创 一文搞懂 Flink如何移動計算
對於分佈式框架來說，我們經常聽到的一句話就是：移動計算，不移動數據。那麼對於 Flink 來說是如何移動計算的呢？我們一起重點看一下 ExecuteGraph 基本概念 ExecutionJobVertex：表示 JobGraph 的一個計
2020-09-20 21:04:05