从MongoDB里面用spark抽取数据增量存到MySQL,十天以后发现数据少一条,
少了的那一条MongoDB原始数据:
spark读取过来的数据:
存到MySQ里面的数据:
MySQL的表结构:
问题原因:存入MySQL时间精度损失造成时间变为2019-11-03 ,到2019-11-04再跑2019-11-03数据的时候,(spark代码内置先删除,后插入,避免历史数据追溯的时候出现数据重复问题)会先删除表里面的2019-11-03的数据,这条数据就被删除了,而在MongoDB里面它是02号的数据,所以不会再次被抽取到spark,造成数据少一条
问题解决:待更新