Kettle数据库迁移实战

数据库迁移不是一件简单的事情，特别是需要从Oracle迁移到MySQL或者sqlserver迁移到MySQL等等，而数据处理中还会遇到很多问题，譬如表结构不一样，字段需要特殊处理等，而Kettle使用起来则非常方便，不需要连接太多的SQL知识，本文就介绍一下我在工作中遇到的使用场景，我使用的kettle版本是9.0+

---

1. 先介绍一篇其它优秀博文—kettle数据迁移从oracle到mysql，作者对于软件的下载，数据库连接和基本使用，介绍的否比价详细。另外说明一点，获取字段映射关系，首先需要建立两个数据库的关系，也就是先要把步骤连起来

2. 我在工作中的使用

   1. 新表当中有个别字段是常量，而就数据库没有这个字段

      • 首先新建转换，在主对象树建立数据库连接

      • 在核心对象->输入选择‘表输入’，输出选择’插入/更新’，转换选择增加常量。其中输入根据需要写Sql

      • 依次连接3个步骤，并配置3个步骤

      • 检验转换有没有错误，没有错误则执行转换

      • 校验没有错误但是在执行转换报错也是很正常的，这时候大都是因为sql有错误：比如非空字段没有插入值，字段长度不够等，而日志台对这些错误信息显示的页比较清晰，遇到错误不要害怕，静下心来分析错误，你会发现很简单

   2. 新表当中某个字段需要是几个字段（或者常量）的拼接后的结果，下面只给出关键步骤

   3. 当新表中有字段需要随机值-可选择输入步骤->生成随机数，可选择生成随机数的类型，竖直，字符串，UUID等