Kettle數據庫遷移實戰

數據庫遷移不是一件簡單的事情，特別是需要從Oracle遷移到MySQL或者sqlserver遷移到MySQL等等，而數據處理中還會遇到很多問題，譬如表結構不一樣，字段需要特殊處理等，而Kettle使用起來則非常方便，不需要連接太多的SQL知識，本文就介紹一下我在工作中遇到的使用場景，我使用的kettle版本是9.0+

---

1. 先介紹一篇其它優秀博文—kettle數據遷移從oracle到mysql，作者對於軟件的下載，數據庫連接和基本使用，介紹的否比價詳細。另外說明一點，獲取字段映射關係，首先需要建立兩個數據庫的關係，也就是先要把步驟連起來

2. 我在工作中的使用

   1. 新表當中有個別字段是常量，而就數據庫沒有這個字段

      • 首先新建轉換，在主對象樹建立數據庫連接

      • 在覈心對象->輸入選擇‘表輸入’，輸出選擇’插入/更新’，轉換選擇增加常量。其中輸入根據需要寫Sql

      • 依次連接3個步驟，並配置3個步驟

      • 檢驗轉換有沒有錯誤，沒有錯誤則執行轉換

      • 校驗沒有錯誤但是在執行轉換報錯也是很正常的，這時候大都是因爲sql有錯誤：比如非空字段沒有插入值，字段長度不夠等，而日誌臺對這些錯誤信息顯示的頁比較清晰，遇到錯誤不要害怕，靜下心來分析錯誤，你會發現很簡單

   2. 新表當中某個字段需要是幾個字段（或者常量）的拼接後的結果，下面只給出關鍵步驟

   3. 當新表中有字段需要隨機值-可選擇輸入步驟->生成隨機數，可選擇生成隨機數的類型，豎直，字符串，UUID等