用spark從MongoDB抽取數據存到MySQL(數據少一條)

MongoDB裏面用spark抽取數據增量存到MySQL,十天以後發現數據少一條,

少了的那一條MongoDB原始數據:

spark讀取過來的數據: 

存到MySQ裏面的數據:

 MySQL的表結構:

 

 問題原因:存入MySQL時間精度損失造成時間變爲2019-11-03 ,到2019-11-04再跑2019-11-03數據的時候,(spark代碼內置先刪除,後插入,避免歷史數據追溯的時候出現數據重複問題)會先刪除表裏面的2019-11-03的數據,這條數據就被刪除了,而在MongoDB裏面它是02號的數據,所以不會再次被抽取到spark,造成數據少一條

問題解決:待更新

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章