原创 flink按字段對齊的流合併的實現

flink按字段對齊的流合併的實現 最近在用flink重構storm程序,遇到了一些問題,其中比較麻煩的就是storm中的流合併如何在flink中實現。 需求根據每條數據內的時間屬性(同一類型的字段),拼裝同一時間的多個流數據爲一個流數據

原创 Flink window(一)(翻譯官方文檔)

最近準備用flink對之前項目進行重構,這是一個有挑戰(但我很喜歡)的工作。幾個月過去了,flink社區比起我做技術調研那陣發生了很多變化(包括blink的版本回推),我這邊的版本也由1.4->1.7.2。現在網上有很多大方向的解析(阿里

原创 Flink window(二)(翻譯官方文檔)

最近準備用flink對之前項目進行重構,這是一個有挑戰(但我很喜歡)的工作。幾個月過去了,flink社區比起我做技術調研那陣發生了很多變化(包括blink的版本回推),我這邊的版本也由1.4->1.7.2。現在網上有很多大方向的解析(阿里

原创 Flink DataStream轉換(翻譯官方文檔)

最近準備用flink對之前項目進行重構,這是一個有挑戰(但我很喜歡)的工作。幾個月過去了,flink社區比起我做技術調研那陣發生了很多變化(包括blink的版本回推),我這邊的版本也由1.4->1.7.2。現在網上有很多大方向的解析(阿里

原创 Storm程序的mysql連接問題及可行的處理方式

最近遇到的連接問題我準備從重構的幾個程序(redis和mysql)長連接和短連接,以及連接池和單連接等問題用幾篇博客來總結下。這是最後一篇。 Storm程序因爲有他本身框架的組合方式,只有再要輸出的bolt創建jdbc對象(看起來和red

原创 java原生程序mysql連接(Durid連接池和普通連接)選擇問題

最近遇到的連接問題我準備從重構的幾個程序(redis和mysql)長連接和短連接,以及連接池和單連接等問題用幾篇博客來總結下。 這個問題的具體發生在java原生程序和mysql的交互中。心得和上一篇一樣,不過沒用好也有對連接池的不熟悉的原

原创 java原生程序redis連接(連接池/長連接和短連接)選擇問題

最近遇到的連接問題我準備從重構的幾個程序(redis和mysql)長連接和短連接,以及連接池和單連接等問題用幾篇博客來總結下。 這個問題的具體發生在java原生程序和redis的交互中。這個問題對我最深刻的教訓就是說明獲取連接不能迷信連接

原创 java原生項目監控設計思路

之前一個月準備完成項目的監控,但資源緊張,所以沒采用成熟的框架而是用java原生程序實現了對項目的監控。這套監控程序更多的是從使用者角度(比較抽象),而且由於項目時間緊,我甚至沒時間去參考現在開源的程序監控框架,所以也沒法理論聯繫實際(笑

原创 OpenTSDB的/ API / query/last(opentsdb的末尾反向查詢的api)簡介

寫在前面,這裏時對OpenTSDB查詢的一篇補充文檔,一個特殊的查詢方式:末尾反向查詢。 翻譯原文檔http://opentsdb.net/docs/build/html/api_http/query/last.html 末尾反向查詢與其

原创 OpenTSDB的UID和TSUID

寫在前面 UID和TSUID設計openTSDB的表結構,這裏解釋爲什麼選擇和其中的一些用法 原地址https://opentsdb.github.io/asynchbase/docs/build/html/configuration.h

原创 OpenTSDB的故障排除

寫在前面 如果使用OpenTSDB多的話,就會逐漸意識到它的不足,這個與其說是故障排除,也可以叫缺陷說明了,畢竟按上面的方法排除故障還是不容易。 原地址:http://opentsdb.net/docs/build/html/user_g

原创 OpenTSDB的樹(tree)

寫在前面 HBase存在存儲OpenTSDBtree數據的表,瞭解這個對OpenTSDB的存儲機制就會有一定了解。 原地址:http://opentsdb.net/docs/build/html/user_guide/trees.html

原创 OpenTSDB系列目錄

寫在前面的一些話 距離我第一次寫OpenTSDB的博客已經有兩個月了,也受到了一些關注,但再次寫OpenTSDB卻很難再去說它有趣而精妙的插值等使用方法了。因爲最近使用OpenTSDB的體驗並不算好,在開始架構設計方面只考慮到它服務的易用

原创 OpenTSDB的彙總和預聚合(Rollup And Pre-Aggregates)(一)

寫在前面 這是有關於OpenTSDB支持的有關配置,和預先設置聚合,不過這方面的應用還是太少,有待補充。 原地址:http://opentsdb.net/docs/build/html/user_guide/rollups.html 雖然

原创 OpenTSDB的彙總和預聚合(Rollup And Pre-Aggregates)(二)

寫在前面 這是有關於OpenTSDB支持的有關配置,和預先設置聚合,不過這方面的應用還是太少,有待補充。 原地址:http://opentsdb.net/docs/build/html/user_guide/rollups.html 預聚