ods,dw,dm理解

ods,dw,dm解释与理解

ods:操作性数据仓库ods的应用场景
1.在业务系统和数据仓库之间形成一个隔离,ods直接存放从业务系统抽取过来的数据,这些数据从结构和数据上与业务系统保持一致,降低了数据抽取的复杂性。
2.转移一部分业务系统的细节查询功能,因为ods存放的数据与业务系统相同,原来有业务系统产生的报表,现在可以从ods中产生了。
3.完成数据仓库中不能完成的功能。ods存放的是明细数据,数据仓库dw或dm都存放的是汇聚数据,ods提供查询明细功能。

理解:
1.ods提供了数据冗余备份,它的存在可以避免数据仓库直接调用业务系统的数据。
2.数据抽取到ods中只需要将业务系统的数据原封不动的拷贝过去,可以忽略业务上的规则。
3.ods就像一个无限大的容器,数据源源不断的写入进去,一经写入的数据就不能被改变,鉴于这些特性,ods一般会考虑使用分布式文件存储系统。
4.ods数据只能增加不能修改,而且数据都是从业务系统的原样拷贝,所以可能存在数据冲突的可能,解决办法是为每一条数据增加一个时间版本来区分相同的数据。

dw:数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合,是一个包含所有主题的通用的集合。
1.效率足够高,要对进入的数据快速处理。
2.数据质量,数据仓库是提供很多决策系统的支撑数据,所以数据准确非常重要。
3.扩展性,企业业务扩展和降低企业建设数据仓库的成本考虑。
4.面向主题,数据仓库中的数据是按照一定的主题域进行组织的,每一个主题对应一个宏观的分析领域,数据仓库排除对决策无用的数据,提供特定主题的简明视图。

dw理解:
1.dw主要提供查询服务,并且需要查询能够及时响应。
2.进入dw的数据应该是能唯一的具有权威性的数据,企业的系统只能使用从dw提供的被认可的数据,所以预先做好企业的元数据建立非常必要。
3.定期需要对dw里面的数据进行质量检查,保证dw里面的数据唯一、权威、准确。
4.dw的数据也是只允许增加不允许删除和修改,数据仓库主要是提供查询服务,删除和修改在分布式系统中会消耗大量的性能资源。

dm:数据集市,以某个业务应用为出发点而建设的局部dw,dw只关心自己需要的数据,不会全盘考虑企业整体的数据架构和应用。每个应用有自己的dm

dm理解:
1.dm结构清晰、针对性强、扩展性好,因为dm仅仅是单对某一个领域而建立,容易维护和修改。
2.dm建设任务繁重,公司有众多业务每一个业务单独加建立工作量集合增加啊。
3.dm的建立消耗更多存储空间,单独一个dm可能数据量不大,但是企业所有领域都建立dm数据量就会增加很多倍。

例子如下:
https://www.jianshu.com/p/72e395d8cb33

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章