原创 Flink Streaming專題 -1 FlinkStreaming 概述和事件時間EventTime解讀
Streaming 1.1 Overviewer （1）Data Sources DataSources 操作 可以通過StreamExecutionEnvironment.addSource(sourceFunction) 方式
2020-06-02 08:28:24
原创 java類的加載機制
Java 類的加載機制 什麼是類的加載 1.過程 類的加載就是指 將類的.class 文件生成爲二進制數據 將二進制數據放置到內存memory中，並放置在運行時數據區的方法區中 在堆內從創建java.lang.Class 對象，用來
2019-02-24 02:16:29
原创 Flink 專題 -3窗口滾動和滑動操作
Flink流操作-窗口滾動和滑動操作 Flink存在兩種窗口操作，分別爲滾動操作和滑動操作，兩者主要的區別在於，滾動操作不會重疊，而滑動操作則會讓數據產生重疊 。 https://github.com/soniclavier/bigd
2019-02-16 21:09:16
原创 Flink Stream dataSource/ watermarks /eventtime
1.Streaming 1.1 Overviewer （1）Data Sources DataSources 操作 可以通過StreamExecutionEnvironment.addSource(sourceFunction) 方式
2019-01-31 13:06:08
3
原创 Flume 源碼解析：HDFS Sink
文章目錄Flume 源碼解析：HDFS SinkSink 組件的生命週期HDFS Sink 模塊中的類配置與啓動處理數據Channel 事務查找或創建 BucketWriter寫入數據並刷新文件滾動關閉與停止 轉自: https://
2018-11-14 00:24:48
2
原创 Flink 專題 -2 Checkpoint、Savepoint 機制
CheckPoint 1. checkpoint 保留策略 默認情況下，checkpoint 不會被保留，取消程序時即會刪除他們，但是可以通過配置保留定期檢查點，根據配置 當作業失敗或者取消的時候 ，不會自動清除這些保留的檢查點 。 jav
2018-11-08 23:16:46
原创 Flink 專題 -2Checkpoint、Savepoint 機制
文章目錄CheckPoint1. checkpoint 保留策略2. Checkpoint 配置3. Checkpoint 狀態點恢復SavepointSavepoint 介紹savepoint 和 checkpoint 區別Assi
2018-11-08 10:36:54
2
原创 Flink 專題1 ： 搭建Flink 及Flink 簡介
目錄 Flink 專題1 ： 搭建Flink 及Flink 簡介 Flink 簡介 Flink 的優勢: Flink 安裝 flink 安裝步驟 Flink 專題1 ： 搭建Flink 及Flink 簡介 圖片來源於網絡 Flin
2018-11-07 22:46:44
原创 flume 單機問題解決與架構更改
[TOC] 引言 今天針對線上生產環境下單機 flume 拉取kafka數據並存儲數據入Hdfs 出現大批量數據延遲. 在網上官網各種搜索數據，並結合官網數據，現進行以下總結 1. 線上單機存在問題簡述 當前flume拉取kafa數據量並不
2018-11-07 22:36:27
2
原创 使用java api 創建excel內容併發送郵件
目錄 利用java api 創建excel 內容併發送郵件 主要實現功能: 核心代碼 (SendMailManager ) : 配置文件內容 : excel 郵件發送實例圖: 簡述： 最近使用 github 在歸類自己平時使用的工具類
2018-11-07 22:36:27
原创 Flink 專題 -1 搭建Flink 及Flink 簡介
文章目錄Flink 專題1 ： 搭建Flink 及Flink 簡介Flink 簡介Flink 的優勢:Flink 安裝flink 安裝步驟flink 集羣模式 結構 :配置文件設置:添加jobManager/TaskManager啓
2018-11-06 23:52:58