在数据仓库的数据模型设计过程中,经常会遇到这样的需求:
- 数据量比较大;
- 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;
- 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,比如,查看某一个用户在过去某一段时间内,更新过几次等等;
- 变化的比例和频率不是很大,比如,总共有1000万的会员,每天新增和发生变化的有10万左右;如果对这边表每天都保留一份全量,那么每次全量中会保存很多不变的信息,对存储是极大的浪费;
- 综上所述:引入’拉链历史表’,既能满足反应数据的历史状态,又可以最大程度的节省存储;
select f.id,
f.start_date,
case when s.id is not null and f.end_date > s.update_date then 'yesterday' else f.end_date end as end_date
from fdm_table f
left join sdm_table s
on f.id = s.id
//新的状态阶段
union all select *,
update_date as start_date,
'9999-12-31' as end_date
from sdm_table
//where time_create = 'yesterday'
- https://www.cnblogs.com/zuifangxiu/articles/6475179.html
- https://www.jianshu.com/p/799252156379
- http://pylyria.com/2018/07/03/%E6%8B%89%E9%93%BE%E8%A1%A8%E5%8F%8A%E5%85%B6Hive%E5%AE%9E%E7%8E%B0/