基於Flink流處理的動態實時億級全端用戶數據統計分析系統(支持所有的終端統計)
資源網盤下載:https://pan.baidu.com/s/1LlAu1u6NVqX7b0JmUqwKMQ 提取碼: m3kn
講師:友凡老師
本套案例是完全基於真實的產品進行開發和講解的,同時對架構進行全面的升級,採用了全新的Flink架構+Node.js+Vue.js等,完全符合目前企業級的使用標準。對於本套課程在企業級應用的問題,可以提供全面的指導。
Flink作爲第四代大數據計算引擎,越來越多的企業在往Flink轉換。Flink在功能性、容錯性、性能方面都遠遠超過其他計算框架,兼顧高吞吐和低延時。
Flink能夠基於同一個Flink運行時,提供支持流處理和批處理兩種類型應用的功能。也就是說同時支持流處理和批處理。Flink將流處理和批處理統一起來,也就是說作爲流處理看待時輸入數據流是×××的;批處理被作爲一種特殊的流處理,只是它的輸入數據流被定義爲有界的。
課程包含技術:
- 流處理特性
支持高吞吐、低延遲、高性能的流處理
支持帶有事件時間的窗口(Window)操作
支持有狀態計算的Exactly-once語義
支持高度靈活的窗口(Window)操作,支持基於time、count、session,以及data-driven的窗口操作
支持具有Backpressure功能的持續流模型
支持基於輕量級分佈式快照(Snapshot)實現的容錯
一個運行時同時支持Batch on Streaming處理和Streaming處理
Flink在JVM內部實現了自己的內存管理
支持迭代計算
支持程序自動優化:避免特定情況下Shuffle、排序等昂貴操作,中間結果有必要進行緩存
- API支持
對Streaming數據類應用,提供DataStream API
對批處理類應用,提供DataSet API(支持Java/Scala)
- Libraries支持
支持機器學習(FlinkML)
支持圖分析(Gelly)
支持關係數據處理(Table)
支持複雜事件處理(CEP)
- 整合支持
支持Flink on YARN
支持HDFS
支持來自Kafka的輸入數據
支持Apache HBase
支持Hadoop程序
支持Tachyon
支持ElasticSearch
支持RabbitMQ
支持Apache Storm
支持S3
支持XtreemFS