【總結】Datax使用過程中遇到的問題

工作中使用到阿里的數據同步工具Datax,發現除了不支持redis作爲讀寫的數據源之外,支持幾乎所有常見類型的數據源

在使用過程中遇到了幾個問題,這裏記錄一下:

ps:Datax的使用方法不做介紹。


 

問題場景:

1、數據從MySQL同步到 HDFS ,最終用hive進行使用,發現字段值爲時間的數值在同步過程中會出現八小時差值

解決方法:mysqlreader的jdbcUrl參數指定時區,如:

jdbc:mysql://127.0.0.1:3306/user?serverTimezone=Hongkong

 

2、數據從HDFS同步到MySQL,有個timestamp類型字段顯示爲‘0000-00-00 00:00:00’

解決方法:因爲這個字段是MySQL自動更新的(DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENR_TIMESTAMP),所以同步時忽略這個字段,讓MySQL自動生成;

這裏我還踩了一個坑,建的hive表把這個字段值處理了一下,cast(null as timestamp),這是錯誤做法

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章