離線數倉常見問題

1. 數據漂移

ODS的表在同一個業務日期數據中包含前一天或者後一天凌晨附近的數據或者丟失當天的變更數據

2. 維度建模與ER建模

3. 緩慢變化維

維度的屬性並不是靜態的,它會隨着時間的流失發生緩慢的變化

4. 退化維

5. 星形模型與雪花模型

6. 拉鍊表、流水錶、全量表、增量表

  • 全量表:每天的所有的最新狀態的數據,
  • 增量表:每天的新增數據,增量數據是上次導出之後的新數據。
  • 拉鍊表:維護歷史狀態,以及最新狀態數據的一種表,拉鍊表根據拉鍊粒度的不同,實際上相當於快照,只不過做了優化,去除了一部分不變的記錄而已,通過拉鍊表可以很方便的還原出拉鍊時點的客戶記錄。
  • 流水錶: 對於表的每一個修改都會記錄,可以用於反映實際記錄的變更。 

7. 今天1點跑完昨天的數據,但昨天有些數據在今天3點才傳過來

8. 昨天訂單1000,今天有昨日訂單退單的100單,如何讓昨天訂單刷爲900

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章