原创 NiFi vs StreamSets(SDC)
NiFi vs StreamSets(SDC) Posted on 2019-01-07 | Symbols count in article: 2.3k | Reading time ≈ 0:02 前面幾篇文章分別介紹了 NiF
2020-06-17 13:52:27
5
原创 spring 彙總 -----spring events
本文主要介紹下如何在spring中進行發佈時間以及接收事件 定義事件 public class DemoEvent extends ApplicationEvent { private String message;
2020-06-17 13:52:27
原创 splunk簡介
最近在寫一個日誌管理平臺的系統，底層借鑑了graylog，今天我們領導告訴我splunk是業界的頂端，希望我們向splunk看齊。所以下午整個時間研究一下splunk。本次研究方向是splunk產品的功能特點，代碼的東西就不再做分析了。
2020-06-16 03:39:55
2
原创 flink源碼閱讀---DataStream API編程指南
在Flink中的DataStream程序是實現數據流轉換的常規程序(例如，過濾，更新狀態，定義窗口，聚合)。數據流最初是從各種來源創建的(例如，消息隊列、套接字流、文件)。結果通過接收器返回，例如，接收器可以將數據寫入文件或標準輸出(例如
2020-06-16 03:39:55
原创 flink源碼閱讀---DataStream數據架構描述1-core底層 架構
flink提供了流計算和批計算，對應的api分別數dataStream api和dataSet api，下面我們從源碼層面對dataStream進行簡單分析。 DataStream數據結構： DataStream表示相同類型的元素流。一
2020-06-10 04:13:50
1
原创 flink源碼閱讀---stream開發流程
開發流程： flink開發流程比較固化，一般分爲一下幾個階段： 1.獲取一個執行環境 ExecutionEnvironment/StreamExecutionEnvironment 2.加載/初始化數據源返回數據集 source 3.數
2020-06-10 04:13:50
原创 flink源碼閱讀---單作業單集羣作業提交流程
flink on yarn 模式支持兩種部署方式： 1. 多作業但集羣 2. 單作業但集羣 本文主要介紹單作業單集羣下作業提交流程： 核心組件： Job CLI: 即flink run，非 detatched 模式下的客戶端進程，用以獲取
2020-06-10 04:13:50
原创 flink源碼閱讀---local啓動流程
啓動腳本： start-cluster.sh bin=`dirname "$0"` bin=`cd "$bin"; pwd` . "$bin"/config.sh # Start the JobManager instance(s)
2020-06-06 12:32:25
原创 flink源碼閱讀---yarn啓動流程
flink on yarn有兩種模式：yarn-seeion 和yarn-job： yarn-seeion：在yarn中初始化一個flink集羣，任務都提交到flink集羣，flink集羣會常駐yarn中，除非手動停止。 yarn-jo
2020-06-06 12:32:25
原创 分佈式對象存儲解決方案
分佈式對象存儲解決方案 OSS（Object Storage Service）俗稱對象存儲，主要提供圖片、文檔、音頻、視頻等二進制文件的海量存儲功能。目前除了公有云提供對象存儲服務外，一般私有云比較關心一些開源的分佈式對象存儲解決方案，本
2020-05-26 12:10:40
原创 數據湖方案：Hudi、Delta、Iceberg深度對比
目前市面上流行的三大開源數據湖方案分別爲：delta、Apache Iceberg和Apache Hudi。 其中，由於Apache Spark在商業化上取得巨大成功，所以由其背後商業公司Databricks推出的delta也顯得格外
2020-05-26 12:10:40
原创 atlas 編譯安裝
Atlas 源代碼編譯 下載源代碼 $ git clone https://github.com/apache/atlas.git $ git switch -c remotes/origin/branch-2.0 修改Maven默認
2020-05-17 10:42:35
1
原创 graylog 啓動流程
啓動流程： Main函數參數： server -f graylog.conf.example 轉存失敗重新上傳取消 主要框架：com.github.rvesse.airline，主要將shell命令參數和java類綁定，根據傳參獲取
2020-04-26 22:48:20
1
原创 java 併發編程的思考
程序開發中，經常會對某個資源進行併發讀寫，進而導致幻讀，髒讀，不可重複讀等問題，解決思路就是封鎖技術，本節就聊聊java併發編程中的主要技術。 基礎 1）通過在總線加LOCK#鎖的方式 是通過在總線上加LOCK#鎖的形式來解決緩存不一
2020-04-26 22:48:20
原创 Graylog2 安裝
GrayLog 服務端需要一些環境依賴 Linux 發行版（如Debian、Ubuntu、或推薦使用的CentOS） Elasticsearch 2.x (2.1.0 or later)graylog2.3以後版本支持了elasticse
2020-04-21 19:16:49
2