拉链表解决什么场景下问题,为什么要用拉线表

在数据仓库的数据模型设计过程中,经常会遇到这样的需求:

  • 数据量比较大;
  • 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;
  • 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,比如,查看某一个用户在过去某一段时间内,更新过几次等等;
  • 变化的比例和频率不是很大,比如,总共有1000万的会员,每天新增和发生变化的有10万左右;如果对这边表每天都保留一份全量,那么每次全量中会保存很多不变的信息,对存储是极大的浪费;
  • 综上所述:引入’拉链历史表’,既能满足反应数据的历史状态,又可以最大程度的节省存储;
select f.id,
	   f.start_date,
	   case when s.id is not null and f.end_date > s.update_date  then 'yesterday' else f.end_date end as end_date
 from fdm_table f 
 left join sdm_table s
 on f.id = s.id 

//新的状态阶段
union all select *,
				update_date as start_date,
				'9999-12-31' as end_date
				 from sdm_table  
				 //where time_create = 'yesterday'
  • https://www.cnblogs.com/zuifangxiu/articles/6475179.html
  • https://www.jianshu.com/p/799252156379
  • http://pylyria.com/2018/07/03/%E6%8B%89%E9%93%BE%E8%A1%A8%E5%8F%8A%E5%85%B6Hive%E5%AE%9E%E7%8E%B0/
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章