基於Flink流處理的動態實時億級全端用戶數據統計分析系統(支持所有的終端統計)

基於Flink流處理的動態實時億級全端用戶數據統計分析系統(支持所有的終端統計)
資源網盤下載:https://pan.baidu.com/s/1LlAu1u6NVqX7b0JmUqwKMQ 提取碼: m3kn
講師:友凡老師

本套案例是完全基於真實的產品進行開發和講解的,同時對架構進行全面的升級,採用了全新的Flink架構+Node.js+Vue.js等,完全符合目前企業級的使用標準。對於本套課程在企業級應用的問題,可以提供全面的指導。

Flink作爲第四代大數據計算引擎,越來越多的企業在往Flink轉換。Flink在功能性、容錯性、性能方面都遠遠超過其他計算框架,兼顧高吞吐和低延時。

Flink能夠基於同一個Flink運行時,提供支持流處理和批處理兩種類型應用的功能。也就是說同時支持流處理和批處理。Flink將流處理和批處理統一起來,也就是說作爲流處理看待時輸入數據流是×××的;批處理被作爲一種特殊的流處理,只是它的輸入數據流被定義爲有界的。

課程包含技術:

  1. 流處理特性

支持高吞吐、低延遲、高性能的流處理
支持帶有事件時間的窗口(Window)操作
支持有狀態計算的Exactly-once語義
支持高度靈活的窗口(Window)操作,支持基於time、count、session,以及data-driven的窗口操作
支持具有Backpressure功能的持續流模型
支持基於輕量級分佈式快照(Snapshot)實現的容錯
一個運行時同時支持Batch on Streaming處理和Streaming處理
Flink在JVM內部實現了自己的內存管理
支持迭代計算
支持程序自動優化:避免特定情況下Shuffle、排序等昂貴操作,中間結果有必要進行緩存

  1. API支持

對Streaming數據類應用,提供DataStream API
對批處理類應用,提供DataSet API(支持Java/Scala)

  1. Libraries支持

支持機器學習(FlinkML)
支持圖分析(Gelly)
支持關係數據處理(Table)
支持複雜事件處理(CEP)

  1. 整合支持

支持Flink on YARN
支持HDFS
支持來自Kafka的輸入數據
支持Apache HBase
支持Hadoop程序
支持Tachyon
支持ElasticSearch
支持RabbitMQ
支持Apache Storm
支持S3
支持XtreemFS

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章