基於 Flink 的實時數倉生產實踐

基於 Flink 的實時數倉生產實踐

Flink 社區 Flink 中文社區
數據倉庫的建設是“數據智能”必不可少的一環,也是大規模數據應用中必然面臨的挑戰。在智能商業中,數據的結果代表了用戶反饋、獲取數據的及時性尤爲重要。快速獲取數據反饋能夠幫助公司更快地做出決策,更好地進行產品迭代,實時數倉在這一過程中起到了不可替代的作用。

基於 Flink 的實時數倉生產實踐

如何更好的建設實時數倉、有哪些優秀的生產實踐經驗可借鑑?

11月28-30日,Flink Forward Asia 邀請來自 Netflix、美團點評、小米、OPPO、菜鳥等數倉專家,聚焦 Flink 實時數倉在數據鏈路中扮演的角色與在智能商業中的重要價值,分享實時數倉的應用實踐及平臺智能化的探索與思考。

美團點評基於 Apache Flink 的實時數倉平臺實踐


魯昊
美團點評高級技術專家

美團點評的業務衆多,涉及幾十條業務線;數據量大,處理峯值達到 1.5 億條每秒,每天數據增長量超過 3 萬億條;大多數業務都是交易場景,鏈路長、狀態多樣,業務在數倉建設中面臨着很大挑戰。隨着業務對時效性的要求越來越高,如即時配送、實時營銷,越來越多的業務對實時數倉提出了需求和探索。實時計算團隊調研彙總了多個業務線在實時數倉方面的建設經驗,建設了一站式的實時數倉開發平臺,以更好得支持業務發展。

本次分享將主要介紹實時計算的業務應用和規模、多個業務在實時數倉方面的建設情況,以及基於 Flink 的實時計算平臺和實時數倉平臺。

小米流式平臺架構演進與實踐


夏軍
小米流式平臺負責人,高級研發工程師

小米集羣業務線衆多,從信息流,電商 ,廣告到金融等覆蓋了衆多了領域,小米流式平臺爲小米集團各業務提供一體化的流式數據解決方案,主要包括數據採集,數據集成和流式計算三個模塊。目前每天數據量達到 2 萬億條,實時同步任務 1.5 萬,實時計算的數據 1 萬億條。伴隨着小米業務的發展,流式平臺也經歷三次大升級改造,滿足了衆多業務的各種需求。

最新的一次迭代基於 Apache Flink,對於流式平臺內部模塊進行了徹底的重構,同時小米各業務也在由 Spark Streaming 逐步切換到 Flink。本次分享主要包括小米流式平臺架構演進、基於 Flink 的新版本流式平臺架構設計與產品化,小米典型業務應用實踐,未來挑戰與規劃等。

Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform


徐振中
Senior Software Engineer at Netflix

Netflix 致力於我們會員的喜悅。我們不懈地專注於提高產品體驗和高質量內容。近年來,我們一直在技術驅動的 Studio 和內容製作方面進行大量投資。在這個過程中,我們發現在實時數據平臺的領域裏中出現了許多獨特並有意思的挑戰。例如,在微服務架構中,Domain object 分佈在不同的 App 及其有狀態存儲中,這使得低延遲高一致性的實時報告和 entity 搜索發現特別具有挑戰性。

在本次演講中,我們將討論一些有趣的案例,分享分佈式系統基礎方面的各種挑戰以及解決方案。我們還將討論在開發運維過程中的收穫,對開放式自助式實時數據平臺的一些新願景,以及我們對 Realtime ETL 基礎平臺的一些新思考。

菜鳥供應鏈實時數倉的架構演進及應用場景


賈元喬
菜鳥高級數據技術專家

賈元喬老師就職於菜鳥網絡供應鏈數據團隊,致力於菜鳥供應鏈數倉建設、數據產品開發以及數據技術創新。

本次分享主要從數據模型、數據計算、數據服務等幾個方面介紹菜鳥供應鏈數據團隊在實時數據技術架構上的演進,以及在供應鏈場景中,典型的實時應用場景及Flink實現方案。

OPPO 基於 Apache Flink 的實時數倉實踐


張俊
Apache Flink Contributor,OPPO大數據平臺研發負責人

張俊老師主導了 OPPO 涵蓋“數據接入-數據治理-數據開發-數據應用”全鏈路的數據中臺建設。曾先後工作於摩根士丹利、騰訊,具有豐富的數據系統研發經驗,目前重點關注數倉建設、實時計算、OLAP引擎方向,同時也是Flink開源社區貢獻者。本次演講主要分享 OPPO 基於 Flink 構建實時數倉的:

1.建設背景
2.頂層設計
3.落地實踐
4.未來展望
基於 Flink 的實時數倉生產實踐



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章