數倉ETL代碼優化 - 表字段 被過濾和聚合的次數

優化案例

假設以下代碼，在不同的調度任務中重複出現。那麼是否可以抽出公共代碼，減少資源使用。

-- 是否可以將埋點裏 搜索相關的 整合成一張表
select *
from app_event_tracking
where op_type = '搜索'

-- 是否可以將每日的用戶下單情況 整合成公共層表
select
  user_id, ...
from order_item
where create_date = 'yesterday'
group by user_id

最終落地 效果如圖

• 通過找到經常做過濾或者聚合操作的字段，結合維度建模星型模型的理論，不斷優化數倉建模結構
• 建立中間層，讓代碼冗餘變少，提高調度效率、減少資源使用。

實現代碼 Code