原创 flink實戰-定時器實現已完成訂單自動五星好評
文章目錄背景需求案例詳解自定義source定時處理邏輯 背景需求 在電商領域會有這麼一個場景，如果用戶買了商品，在訂單完成之後，24小時之內沒有做出評價，系統自動給與五星好評，我們今天主要使用flink的定時器來簡單實現這一功能。
2020-06-26 09:21:26
原创 flink實戰教程-使用set實時計算當天網站uv
文章目錄背景案例講解模擬source定義窗口自定義聚合算子處理輸出結果 背景 對於web網站，我們一般會有這樣的需求，實時的計算出來當天網站的uv，儘可能快的展示出來。今天我們就講一下基於java的set集合做一下實時uv的統計。
2020-06-26 09:21:25
原创 聊聊AWK命令的那些事
文章目錄切割文件內置變量的使用正則匹配類sql功能 作爲一個大數據開發，先來一個我比較喜歡的面試題。 對於下面的nginx日誌access.log，用腳本分析出訪問ip的Top 10。 其實這個題不難，但是考察了幾個常用的shel
2020-06-26 09:21:25
原创 放棄fastjson，擁抱Jackson
文章目錄背景常用操作json object操作序列化操作反序列化日期類型反序列化自定義反序列化枚舉類型反序列化 背景 最近由於阿里的fastjson頻繁爆出安全漏洞，爲了避免後續升級上線的煩惱，決定棄用fastjson，使用Jac
2020-06-26 09:21:24
原创 flink實戰教程-flink streaming sql 初體驗
文章目錄背景實例講解構造StreamTableEnvironment對象註冊table使用Tuple使用Row使用java的Pojo類使用外部存儲 背景 SQL，Structured Query Language:結構化查詢語言，
2020-06-26 09:21:24
原创 flink實戰-實時計算平臺通過api停止流任務
文章目錄背景案例詳解命令行停止api實現 背景 隨着flink在流計算領域越來越火，很多公司基於flink搭建了自己的實時計算平臺，用戶可以在實時平臺通過jar或者sql的方式來開發、上線、下線、運維flink任務，避免了構建f
2020-06-26 09:21:24
原创 flink任務提交流程分析
下面先上傳一張啓動流程的順序圖 從圖上看出MiniCluster（包含）之前的所有的流程都是屬於客戶端的，後續的都是屬於遠端 其中每一個流轉類，如果細講都可以形成好幾篇，下面在結合代碼細講一下 StreamExecutionEnviro
2020-06-16 02:24:47
原创 flink cep 案例之機架溫度監控報警
FlinkCEP是在Flink之上實現的複雜事件處理庫。它提供了豐富的API，允許您在不停止的事件流中檢測事件模式，並對複雜事件做相應處理。 模式匹配是複雜事件處理的一個有力的保障，應用場景包括受一系列事件驅動的各種業務流程，例如
2020-06-16 02:24:47
原创 Apache Calcite 處理流程詳解
轉載自：http://matt33.com/2019/03/07/apache-calcite-process-flow/ 關於 Apache Calcite 的簡單介紹可以參考 Apache Calcite：Hadoop 中新型大數
2020-06-16 02:24:47
原创 azkaban-3.40.0源碼 架構解析
文章目錄web上傳zip以及解析入庫手工執行flow定時執行flowexecserver執行流程提交flow具體執行邏輯具體job的執行 web上傳zip以及解析入庫 web服務上傳zip包 入口： azkaban.webapp
2020-06-16 02:24:47
原创 flink開發過程中遇到的問題
文章目錄類轉換異常local class incompatible 類轉換異常 cannot be cast to com.google.protobuf.Message Caused by: java.lang.ClassCa
2020-06-16 02:24:47
原创 flink實戰-聊一聊flink中的聚合算子
文章目錄前言原理解析實例講解自定義source自定義聚合函數自定義結果輸出函數主流程 前言 今天我們主要聊聊flink中的一個接口org.apache.flink.api.common.functions.AggregateFun
2020-06-16 02:24:47
原创 Kafka設計解析 - Exactly Once語義與事務機制原理
本文轉發自技術世界，原文鏈接 http://www.jasongj.com/kafka/transaction/ 寫在前面的話 本文所有Kafka原理性的描述除特殊說明外均基於Kafka 1.0.0版本。 爲什麼要提供事務機制 Kaf
2020-06-16 02:24:47
原创 FLINK CEP 網站狀態報警監控和恢復通知
文章目錄flink CEP 簡介案例詳解 flink CEP 簡介 flink CEP（Complex event processing），是在Flink之上實現的複雜事件處理庫，可以允許我們在不斷的流式數據中通過我們自己定義的模
2020-06-16 02:24:47
原创 FLINK 高可用服務概覽與改造
分佈式系統總要面對天然的失敗場景，這可能是網絡分區、節點故障或者線程死亡等等五花八門的問題。在失敗場景下保證服務整體對外的可用性（Availability）是分佈式系統質量的一個重要衡量標準。 FLINK 使用的高可用服務提供了在 Mas
2020-06-16 02:24:47