爲什麼對數據倉庫分層
- 用空間換時間,通過大量的預處理來提升系統的用戶體驗(效率),避免數據倉庫會存在大量的冗餘數據。
- 如果不進行數倉分層,源業務系統的業務規則發生變化,將會影響整個系統的清洗工作,工作量巨大。
- 通過數據分層管理可以簡化數據清洗的過程,因爲把原來一步的工作分成了多個步驟去執行,相當於把一個複雜的工作拆分成了多個簡單的工作,把一個大的黑盒變成了白盒,每一層的處理的邏輯都相對簡單,這樣比較容易確定每一個步驟的準確性,當任務數據發生錯誤時候,只需要調整某個步驟即可。
數據倉庫分層
但是每個數據中臺分層根據實際業務可能各有不同,但是在某種程度上不會相差太多,ods/dwb/dws/ads
ods層
dwb層
dws層
ads層