美團外賣實時數倉建設實踐

導讀: 本文主要介紹一種通用的實時數倉構建的方法與實踐。實時數倉以端到端低延遲、SQL標準化、快速響應變化、數據統一爲目標。在實踐中,我們總結的最佳實踐是:一個通用的實時生產平臺 + 一個通用交互式實時分析引擎相互配合同時滿足實時和準實時業務場景。兩者合理分工,互相補充,形成易於開發、易於維護、效率最高的流水線,兼顧開發效率與生產成本,以較好的投入產出比滿足業務多樣需求。

01 實時場景

實時數據在美團外賣的場景是非常多的,主要有以下幾點:

  • 運營層面:比如實時業務變化,實時營銷效果,當日營業情況以及當日實時業務趨勢分析等。
  • 生產層面:比如實時系統是否可靠,系統是否穩定,實時監控系統的健康狀況等。
  • C端用戶:比如搜索推薦排序,需要實時瞭解用戶的想法,行爲、特點,給用戶推薦更加關注的內容。
  • 風控側:在外賣以及金融科技用的是非常多的,實時風險識別,反欺詐,異常交易等,都是大量應用實時數據的場景

02 實時技術及架構

1. 實時計算技術選型

目前開源的實時技術比較多,比較通用的是Storm、Spark Streaming以及Flink,具體要根據不同公司的業務情況進行選型。

美團外賣是依託美團整體的基礎數據體系建設,從技術成熟度來講,前幾年用的是Storm,Storm當時在性能穩定性、可靠性以及擴展性上是無可替代的,隨着Flink越來越成熟,從技術性能上以及框架設計優勢上已經超越Storm,從趨勢來講就像Spark替代MR一樣,Storm也會慢慢被Flink替代,當然從Storm遷移到Flink會有一個過程,我們目前有一些老的任務仍然在Storm上,也在不斷推進任務遷移。

原文鏈接:【https://www.infoq.cn/article/AaENya2YBJkNzzBHKG8f】。未經作者許可,禁止轉載。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章