原创 Superset系列4-連接MySQL數據庫 一.安裝依賴 二. 重啓 Superset 三. 數據源配置 參考:

一.安裝依賴 官網是pip 安裝,這邊是conda 安裝,原因是現在是用conda 做python 環境,如果用pip安裝的話,可能會發生兼容性問題,爲了保守不出現問題,這邊用的是conda 環境。 conda activate super

原创 Flink項目系列6-訂單支付實時監控 一.項目概述 二. 代碼 參考:

一.項目概述 1.1 訂單支付實時監控 基本需求 用戶下單之後,應設置訂單失效時間,以提高用戶支付的意願,並降 低系統風險 用戶下單後15分鐘未支付,則輸出監控信息 解決思路 利用 CEP 庫進行事件流的模式匹配,並設定匹配的時間間隔

原创 Flink項目系列5-惡意登錄監控 一.項目概述 二.代碼 參考:

一.項目概述 基本需求 用戶在短時間內頻繁登錄失敗,有程序惡意攻擊的可能 同一用戶(可以是不同IP)在2秒內連續兩次登錄失敗,需要報警 解決思路 將用戶的登錄失敗行爲存入 ListState,設定定時器2秒後觸發,查看 ListSta

原创 Flink項目系列4-市場營銷商業指標統計分析 一. 項目概述 二.代碼 參考:

一. 項目概述   隨着智能手機的普及,在如今的電商網站中已經有越來越多的用戶來自移動端, 相比起傳統瀏覽器的登錄方式 ,手機 APP 成爲了更多用戶訪問電商網站的首選 。對 於電商企業來說 ,一般會通過各種不同的渠道對自己的 APP 進行

原创 Flink項目系列3-實時流量統計 一.項目概述 二.pom文件配置 三.代碼 參考:

一.項目概述 1.1 模塊創建和數據準備   新建一個NetworkFlowAnalysis的package。   將 apache 服務器的日誌文件 apache.log 複製到資源文件目錄 src/main/resources 下,我

原创 Flink基礎系列35-Flink CDC簡介 一. Flink CDC介紹 二.Flink CDC 實操 參考:

一. Flink CDC介紹   Flink在1.11版本中新增了CDC的特性,簡稱 改變數據捕獲。名稱來看有點亂,我們先從之前的數據架構來看CDC的內容。   以上是之前的mysql binlog日誌處理流程,例如canal監聽binlo

原创 Flink項目系列1-項目介紹 一. 電商的用戶行爲 二. 項目主要模塊 三. 數據源解析 四. 項目模塊設計 參考:

一. 電商的用戶行爲   電商平臺中的用戶行爲頻繁且較複雜,系統上線運行一段時間後,可以收集到大量的用戶行爲數據, 進而利用大數據技術進行深入挖掘和分析, 得到感興趣的商 業指標並增強對風險的控制。   電商用戶行爲數據多樣,整體可以分爲用

原创 Flink項目系列2-實時熱門商品統計 一. 項目剖析 二.pom文件配置 三.代碼 參考:

一. 項目剖析 基本需求: 統計近1小時內的熱門商品,每5分鐘更新一次 熱門度用瀏覽次數(“pv”)來衡量 解決思路 在所有用戶行爲數據中,過濾出瀏覽(“pv”)行爲進行統計 構建滑動窗口,窗口長度爲1小時,滑動距離爲5分鐘 按照商品Id

原创 Flink基礎系列34-Flink CEP簡介 一.什麼是CEP 二.CEP特點 三. Pattern API 參考:

一.什麼是CEP 複雜事件處理(Complex Event Processing,CEP) Flink CEP是在Flink中實現的複雜事件處理(CEP)庫 CEP允許在無休止的事件流中檢測事件模式,讓我們有機會掌握數據中重要的部分 一個

原创 Flink基礎系列33-Table API和Flink SQL之函數 一. 函數 二.案例 參考:

一. 函數   Flink Table 和 SQL 內置了很多 SQL 中支持的函數;如果有無法滿足的需要,則可以實 現用戶自定義的函數(UDF)來解決。 1.1 系統內置函數   Flink Table API 和 SQL 爲用戶提供了一

原创 Flink基礎系列29-Table API和Flink SQL之整體介紹 一.整體概述 二.Table API和Flink SQL 測試樣例 參考:

一.整體概述 1.1 什麼是 Table API 和 Flink SQL   Flink本身是批流統一的處理框架,所以Table API和 SQL,就是批流統一的上層處理 API。目前 功能尚未完善 ,處於活躍的開發階段。   Table

原创 Flink基礎系列32-Table API和Flink SQL之窗口 一.窗口 二.案例 參考:

一.窗口   時間語義,要配合窗口操作才能發揮作用。最主要的用途,當然就是開窗口、根據時間 段做計算了。下面我們就來看看 Table API 和 SQL 中,怎麼利用時間字段做窗口操作。   在 Table API 和 SQL 中,主要有兩

原创 Flink基礎系列31-Table API和Flink SQL之流處理中的特殊概念 一. 流處理中的特殊概念 二.案例 參考:

一. 流處理中的特殊概念   Table API 和 SQL,本質上還是基於關係型表的操作方式;而關係型表、關係代數,以及 SQL 本身,一般是有界的,更適合批處理的場景。這就導致在進行流處理的過程中,理解會 稍微複雜一些,需要引入一些特殊

原创 Flink基礎系列23-Sink之JDBC 一.Sink之JDBC概述 二.pom文件配置 三.MySQL配置 四.編寫Java代碼 五.運行Flink程序查看數據 參考:

一.Sink之JDBC概述 Flink的Sink支持的數據庫: Bahir中支持的數據庫: 從上兩圖可以看到,Flink的Sink並支持類似MySQL的這種關係型數據庫,那麼如果我需要通過Flink連接MySQL,該如何操作呢? 這

原创 Flink基礎系列24-Flink的Window 一.Flink Window 二.Flink Window API 三.代碼測試 參考:

一.Flink Window 1.1 概述 streaming流式計算是一種被設計用於處理無限數據集的數據處理引擎,而無限數據集是指一種不斷增長的本質上無限的數據集,而window是一種切割無限數據爲有限塊進行處理的手段。 Window是