從MongoDB裏面用spark抽取數據增量存到MySQL,十天以後發現數據少一條,
少了的那一條MongoDB原始數據:
spark讀取過來的數據:
存到MySQ裏面的數據:
MySQL的表結構:
問題原因:存入MySQL時間精度損失造成時間變爲2019-11-03 ,到2019-11-04再跑2019-11-03數據的時候,(spark代碼內置先刪除,後插入,避免歷史數據追溯的時候出現數據重複問題)會先刪除表裏面的2019-11-03的數據,這條數據就被刪除了,而在MongoDB裏面它是02號的數據,所以不會再次被抽取到spark,造成數據少一條
問題解決:待更新