otter學習(三)——實踐一:單源單表同步到單表

假設我們有個需要:需要把崑山嘉民倉wms庫的t_inventory_bin表數據,同步到數據平臺的picking庫t_inventory_bin表中。

我們按以下步驟進行配置

一、配置數據源

        1.登錄otter,進入配置管理裏的數據源配置頁面,點擊頁面左下方的添加按鈕(如果沒有此按鈕,請檢查是否登錄,或者賬號是否具有權限)

        

        2.填寫數據源信息,驗證通過後,點擊保存

        

        3.把目標庫的數據源也配置一下

        

二、配置數據表

        1.進入配置管理-數據表配置頁面,點擊添加按鈕

        

        2.輸入需同步的數據表,驗證通過後,點擊保存

        

        3.同樣,把目標數據庫也配置一下

        

三、配置一個同步的canal通道

        1.進入配置管理-canal配置頁面,點擊添加按鈕,新增一個canal通道

        

        2.填寫信息,點擊保存

        

        需要注意的是:(1)數據庫地址及數據庫賬號爲你需要同步的數據源的地址及有權限的賬號。比如,在此示例中,我們的數據源是嘉民倉,因此我們填寫的是嘉民倉的數據庫ip

                                  (2)位點自定義設置如果開啓,則表示此通道將從你配置的某個binlog節點開始同步,在需要歷史數據的全量模式下,此值需要設定。若是不需要歷史數據的增量模式,則無需開啓位點設置

四、配置channel

        1.進入同步管理頁面,點擊添加按鈕,新增一個channel

        

        2.填寫配置信息,點擊保存。需要注意的是,當前版本的otter應該是僅支持行記錄模式的。

        

        2.點擊我們剛剛添加的channel,進入pipeline管理頁面,點擊添加按鈕添加一個pipeline。

            此頁面有兩點需要注意,一個是並行度的值,並行度代表了這個pipeline中的滑動窗口的數量,亦可以理解成並行同步的線程數。如果在強時序業務的情況下,可以選擇並行度設置爲1

             另一個需要注意的點就是高級設置中的ddl同步及ddl異常跳過選項,如果是非主從同步的需求,推薦關閉ddl同步且跳過ddl異常,如果業務使得ddl發生變化,應在otter中同步修改,而不是讓otter去做這件事。

        

        

        3.點擊我們創建的pipeline,進入映射關係列表頁,點擊添加,添加映射關係

           需要着重提出的是,映射管理裏的權重字段,值越低,表示此映射越優先處理。在碰到多表同步時,我們可以根據業務的時序,設置不同的權重值,以保證數據同步的時序性

        

        

        

        

 

五、啓動同步

       點擊同步管理,進入channel頁,找到我們剛剛處理的channel,在後面的操作列中點擊啓動按鈕。

       

六、監控運行狀態

        點擊channel,進入pipeline頁,點擊pipeline,進入到三級頁面,我們可以在上面的table標籤中選擇我們想查看的信息,比如錯誤日誌、同步進度、歷史吞吐量等待

        

        

        

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章