kettle集群配置

一．前期准备
1.Windows Sever 2012 64位（Kettle_Master） 一定要有除C盘以外的其他盘存在，关闭服务器防火墙
2.Centos7.2 64位（Kettle_Slave）需要以rpm方式安装webkitgtk（安装包见附件），关闭服务器防火墙
3.Jdk1.8（window版和linux版都需要）
Windows版安装教程：https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
Centos版安装教程
https://blog.csdn.net/weixin_38168694/article/details/100891532
4.Kettle7.1（安装包见附件，安装包在windows、linux下通用）
5.Mysql、Oracle等常见数据库驱动jar包见附件，若没有请自行下载并放到kettle安装好的lib路径下
6.附件下载地址：
https://pan.baidu.com/s/1ehlFvrF-7rj-wEMuqhpX5g 提取码：z7xz
二．Master配置
1.在windows sever 2012非C盘路径下创建kettle文件夹；
2.把附件中的pdi-ce-7.1.0.0-12.zip解压后的pdi-ce-7.1.0.0-12文件拷贝到第一步创建的kettle文件夹下；
3.把kettle/pdi-ce-7.1.0.0-12/data-integration下的pwd文件夹替换成附件中的pwd；
4.编辑C:\Windows\System32\drivers\etc\hosts，在文件末尾添加一行本机IP地址与主机名
例如10.10.10.38 master
5.启动Master有两种方法
(1)通过配置文件启动
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，输入Carte.bat ./pwd/carte-config-master-9090.xml，出现监听端口号，浏览器输入IP地址:端口号出现登录弹框，用户名：cluster密码：cluster 成功登录表示Master启动成功。
(2)通过主机名 IP地址 端口号启动
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，输入Carte.bat master 9090，出现监听端口号浏览器输入IP地址:端口号出现登录弹框，用户名：cluster密码：cluster 成功登录表示Master启动成功。
三．Slave配置
1.在root文件夹下创建kettle文件夹 mkdir kettle；
2.将附件中的pdi-ce-7.1.0.0-12.zip解压后的pdi-ce-7.1.0.0-12文件拷贝到第一步创建的kettle文件夹下；
3.配置好windows后把C:\Users\Administrator.kettle下的repositories.xml文件拷贝到linux下root/.kettle下面。
4.Cd 到kettle/pdi-ce-7.1.0.0-12/data-integration下，通过ftp形式把pwd文件替换成附件中的pwd；
5.编辑centos hosts文件 vim /etc/hosts，在文件末尾添加一行本机IP地址与主机名，例如10.10.10.39 slave1
6.启动Master有两种方法
(3)通过配置文件启动
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，输入./Carte.sh ./pwd/carte-config-9091.xml，出现监听端口号，浏览器输入IP地址:端口号出现登录弹框，用户名：cluster密码：cluster 成功登录表示Master启动成功。
(4)通过主机名 IP地址 端口号启动
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下，输入Carte.bat slave1 9091，出现监听端口号浏览器输入IP地址:端口号出现登录弹框，用户名：cluster密码：cluster 成功登录表示Master启动成功。
Slave节点不止一台，多台重复上述步骤，端口号依次修改即可，本教程是一台Windows Master，三台 Centos Slave，若实际操作配置不同对pwd文件做针对性操作即可。
四．集群任务配置
1.Windows Sever 2012上进入kettle/pdi-ce-7.1.0.0-12/data-integration下，启动spoon.bat；
2.出现图形化界面后右上方登录连接数据库，用户名密码默认均为admin，连接数据库测试错误请回看前期准备工作说明；
3.连接成功后登录，创建交换任务，表输入、数据排序、表输出设置
https://blog.csdn.net/lixuemei504/article/details/38271145
4.将上述链接中的集群配置的主机名、IP、端口号全部换成配置文件的设置；
5.新建执行配置，选择集群节点，执行成功，对应节点输出日志，到此Kettle集群搭建成功。
五．注意事项
1.Master与Slave上的配置要同步，pwd、配置文件、数据库驱动。
2.对服务器上kettle进行修改操作后一定要重启kettle服务
3.为了集群正常使用建议在Master上用Xshell控制Slave
六．遗留问题
1.网站访问中文会乱码但不影响任务流程；