原创 06_Flink Streaming State
state，狀態管理可以用來物化流計算的數據，做聚合和容錯。現在可以物化到jobmanager內存中和文件系統中，rocketDB現在正在開發中。有四種類型的state，通過StreamingRuntimeContext.get對應的st
2018-09-04 19:17:00
原创 2016年大戰雙11 總結
今年雙11，0點幹通宵，PD直接倒地，老大也戰鬥到凌晨，全部帳篷解決溫飽問題。各位都非常棒。CTO還來慰問了，無恥的合了個照，來年再戰。 實在太累，回去睡覺，總結明日再寫。 最後招聘 java+storm 開發人員。簡歷發到QQ：16
2018-09-04 19:16:49
原创 09_Flink Streaming execute
通過env.execute();啓動任務。env有四個實現類。LocalStreamEnvironment，是在本地jvm使用多線程模擬一個flink集羣。四個實現類都是通過getStreamGraph來獲取DAG圖對象StreamGra
2018-09-04 19:16:49
原创 05_Flink Streaming KeyedStream
KeyedStream繼承了DataStream，是由datastream的keyBy()，產生的。表示按key的value分區過的流。在datastream的功能基礎上，由添加了一些max,min等聚合的功能。 //1：聚合函數 1：
2018-09-04 19:16:48
原创 11_Flink Streaming partition
flink的處理邏輯包括 1：transform算子類型（我們指定的map，filter轉換算子） 2：operator（我們實現的Function具體業務） 3：partition（數據的分區分組劃分，上一個算子處理後的數據，如何傳輸給
2018-09-04 19:16:48
原创 10_Flink Streaming jobSubmit
./bin/flink run ./examples/batch/WordCount.jar 通過shell提交job後。flink將程序產生的jobGraph和jar包傳給 jobmanager（簡稱JM）。再由jobmanager
2018-09-04 19:16:48
原创 08_Flink Streaming window
flink提供時間和事件的滑動和跳動的四種窗口。來看下滑動時間窗口的實現。 flink中支持三種時間語義， 1：系統時間，也就是operator在處理數據的時候，當時機器上的時間，性能最高，ProcessingTime。 2：採集時間，也
2018-09-04 19:16:48
原创 07_Flink Streaming transform
flatmap,map,filter都是轉換，通過datastream的transform方法。以最經典的flatmap爲例，transform，需要三個參數，操作名字，輸出類型，對輸入數據的操作。返回 SingleOutputStrea
2018-09-04 19:16:48