用spark从MongoDB抽取数据存到MySQL(数据少一条)

MongoDB里面用spark抽取数据增量存到MySQL,十天以后发现数据少一条,

少了的那一条MongoDB原始数据:

spark读取过来的数据: 

存到MySQ里面的数据:

 MySQL的表结构:

 

 问题原因:存入MySQL时间精度损失造成时间变为2019-11-03 ,到2019-11-04再跑2019-11-03数据的时候,(spark代码内置先删除,后插入,避免历史数据追溯的时候出现数据重复问题)会先删除表里面的2019-11-03的数据,这条数据就被删除了,而在MongoDB里面它是02号的数据,所以不会再次被抽取到spark,造成数据少一条

问题解决:待更新

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章