ods,dw,dm理解

ods,dw,dm解釋與理解

ods:操作性數據倉庫ods的應用場景
1.在業務系統和數據倉庫之間形成一個隔離,ods直接存放從業務系統抽取過來的數據,這些數據從結構和數據上與業務系統保持一致,降低了數據抽取的複雜性。
2.轉移一部分業務系統的細節查詢功能,因爲ods存放的數據與業務系統相同,原來有業務系統產生的報表,現在可以從ods中產生了。
3.完成數據倉庫中不能完成的功能。ods存放的是明細數據,數據倉庫dw或dm都存放的是匯聚數據,ods提供查詢明細功能。

理解:
1.ods提供了數據冗餘備份,它的存在可以避免數據倉庫直接調用業務系統的數據。
2.數據抽取到ods中只需要將業務系統的數據原封不動的拷貝過去,可以忽略業務上的規則。
3.ods就像一個無限大的容器,數據源源不斷的寫入進去,一經寫入的數據就不能被改變,鑑於這些特性,ods一般會考慮使用分佈式文件存儲系統。
4.ods數據只能增加不能修改,而且數據都是從業務系統的原樣拷貝,所以可能存在數據衝突的可能,解決辦法是爲每一條數據增加一個時間版本來區分相同的數據。

dw:數據倉庫,是爲企業所有級別的決策制定過程,提供所有類型數據支持的戰略集合,是一個包含所有主題的通用的集合。
1.效率足夠高,要對進入的數據快速處理。
2.數據質量,數據倉庫是提供很多決策系統的支撐數據,所以數據準確非常重要。
3.擴展性,企業業務擴展和降低企業建設數據倉庫的成本考慮。
4.面向主題,數據倉庫中的數據是按照一定的主題域進行組織的,每一個主題對應一個宏觀的分析領域,數據倉庫排除對決策無用的數據,提供特定主題的簡明視圖。

dw理解:
1.dw主要提供查詢服務,並且需要查詢能夠及時響應。
2.進入dw的數據應該是能唯一的具有權威性的數據,企業的系統只能使用從dw提供的被認可的數據,所以預先做好企業的元數據建立非常必要。
3.定期需要對dw裏面的數據進行質量檢查,保證dw裏面的數據唯一、權威、準確。
4.dw的數據也是隻允許增加不允許刪除和修改,數據倉庫主要是提供查詢服務,刪除和修改在分佈式系統中會消耗大量的性能資源。

dm:數據集市,以某個業務應用爲出發點而建設的局部dw,dw只關心自己需要的數據,不會全盤考慮企業整體的數據架構和應用。每個應用有自己的dm

dm理解:
1.dm結構清晰、針對性強、擴展性好,因爲dm僅僅是單對某一個領域而建立,容易維護和修改。
2.dm建設任務繁重,公司有衆多業務每一個業務單獨加建立工作量集合增加啊。
3.dm的建立消耗更多存儲空間,單獨一個dm可能數據量不大,但是企業所有領域都建立dm數據量就會增加很多倍。

例子如下:
https://www.jianshu.com/p/72e395d8cb33

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章