使用Kettle工具進行增量數據同步

使用Kettle工具進行增量數據同步

使用Kettle工具進行增量數據同步 - 簡書 (jianshu.com)

增量同步的方式有很多種,我使用的是: 快照表 + 觸發器
需求:

當主庫庫表發生增刪改時,從庫庫表與主庫庫表數據保持一致。

環境:
1、Mysql
2、kettle 7.1

思路:

1、在主庫中,將需要同步的庫表新建快照表,表結構一致。

#創建同步臨時表(insert)
DROP TABLE IF EXISTS brch_temp_insert;
CREATE TABLE brch_temp_insert like brch;

#創建同步臨時表(delete)
DROP TABLE IF EXISTS brch_temp_delete;
CREATE TABLE brch_temp_delete like brch;

#創建同步臨時表(update)
DROP TABLE IF EXISTS brch_temp_update;
CREATE TABLE brch_temp_update like brch;

2、在主庫中,分別新增庫表的增、刪、改的觸發器。

#創建同步表觸發器(insert)
DROP TRIGGER IF EXISTS tri_insert_brch;
CREATE TRIGGER tri_insert_brch 
AFTER INSERT ON brch
FOR EACH ROW
BEGIN
     insert into brch_temp_insert
     (  
        ROW_ID,
        BRCH_ID,
        BRCH_NAME
    ) 
    values(
        new.ROW_ID,
        new.BRCH_ID,
        new.BRCH_NAME
    );
END;

#創建同步表觸發器(delete)
DROP TRIGGER IF EXISTS tri_delete_brch;
CREATE TRIGGER tri_delete_brch 
AFTER delete ON brch
FOR EACH ROW
BEGIN
     insert into brch_temp_delete(
        ROW_ID
    ) 
    values(
        old.ROW_ID
    );
END;

#創建同步表觸發器(update)
DROP TRIGGER IF EXISTS tri_update_brch;
CREATE TRIGGER tri_update_brch 
AFTER update ON brch
FOR EACH ROW
BEGIN
     insert into brch_temp_update(
        ROW_ID,
        BRCH_ID,
        BRCH_NAME
    ) 
    values(
        new.ROW_ID,
        new.BRCH_ID,
        new.BRCH_NAME
    );
END;

2、新建一個轉換,該轉換隻針對一張表的增刪改。

 
image

3、新建‘表輸入’控件,查詢主庫的快照表

 
image
 
image
 
image

4、新建‘插入/更新’控件,插入數據到從庫的庫表,查詢的關鍵字要求唯一。

 
image
 
image
 
image

5、新建‘刪除’控件,將主庫的快照表中的數據刪除。

 
image
 
image
 
image

注意:主庫的庫表,要新增針對增、刪、改的三張錶快照,三張表的步驟同上面的1 - 5 一致。

6、新建作業控件

  分別將三個轉換引用進來。
 
image

7、配置發送郵件服務

 
image
 
image

8、完成



作者:叫我老村長
鏈接:https://www.jianshu.com/p/d0e34f966596
來源:簡書
著作權歸作者所有。商業轉載請聯繫作者獲得授權,非商業轉載請註明出處。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章