【Kettle】作业和参数

  • 介绍

大多数ETL项目都需要完成各种各样的操作,例如何传送文件 验证数据库表是否存在,等等,而这些操作都是按照一定顺序完成,Kettle中的作业可以串行执行转换来处理这些操作。

 

  • Job Item(作业项)

作业项是作业的基本构成部分。如同转换的组件,作业项也可以用图标的方式展示。

 

  • Job Hop(作业跳)

Job Hop是作业项之间的连接线,定义了作业的执行路径,作业里每个作业项的不同运行结果决定了作业的不同执行 路径。以下为 Job Hop的几种执行方式:

 

无条件执行

不论上一个作业项执行成功还是失败,下一个作业项都会执行 蓝色的连接线,上面有一个锁的图标

 

当运行结果为真时执行

当上一个作业项的执行结果为真时,执行下一个作业项 通常在需要无错误执行的情况下使用 绿色的连接线,上面有一个对钩号的图标。

 

当运行结果为假时执行

当上一个作业项的执行结果为假或者没有成功执行时,执行下一个作业项 红色的连接线,上面有一个红色的停止图标

 

  • 参数

参数的使用

对于ETL参数传递是一个很重要的环节,因为参数的传递会涉及到业务数据是如何抽取

 

表输入参数传递 - 转换命名参数

1.转换命名参数就是在转换内部定义的变量,作用范围是在转换内部

2.在转换的空白处双击左键,在转换属性中能看到

3.可以在表输入 SQL语句中使用 ${变量名} 或者 %%变量名%% 直接引用

 

  • 实操

需求:

从Excel读取数据,保存到另一个Excel再从文本文件中读取数据,保存到Excel启动作业执行

执行错误,显示执行错误消息框

执行成功,显示执行成功消息框

 

在Kettle创建两个转换

Excel - Excel

文本文件输入 - Excel

 

在Kettle创建一个作业

两个转换对应之前两个创建的转换,如果转换成功显示成功消息框,失败显示失败消息框,各个组件可以设置不同的参数

 

点击三角形箭头执行

 

  • 参数实操

拖入一个表输入组件、一个空操作组件,并连接各个组件

配置表输入组件

双击左键配置参数属性

 

点击三角形箭头执行

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章