flink實戰--維度join方案在Flink中的實現總結

掃一掃加入大數據公衆號和技術交流羣,瞭解更多大數據技術,還有免費資料等你哦

維度join運用場景簡介

              維度或者是維表是來自數據倉庫維度建模中的概念,區別於事實表業務真實發生的數據,通常用來表示業務屬性,比喻訂單業務中,商品屬性、商家屬性都可以稱之爲維度表。在flink 流處理實時分析中或者實時數倉中,同樣需要使用維表來完成一些數據過濾或者字段補齊操作,但是我們所需要的維度數據通常存儲在Mysql/Redis/Hbase/Es這樣的外部數據庫中,並且可能是會隨時變動的,根據業務要求數據的時效性,需要不同程度的感知維表數據的變化,在實際使用中常常會有以下幾種方案可供選擇:

  1. 全量加載到內存:在維度數據量比較小並且業務要求的時效性不高,可以定時全量加載維度數據到內存中,直接從內存中查詢維度數據;
  2. 熱數據緩存+淘汰機制:在維度數據量比較大並且業務要求的時效性不高,這時候全量加載就會撐爆內存,可以使用LRU的緩存策略,當緩存的維度數據達到一定大小,採用淘汰最近最少使用的數據,同時還可以設置數據的
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章