原创 otter學習（五）—— 實踐三：單源多表同步單庫單表
看完了實踐一與實踐二、我們大致對otter有了一個簡單認識。 那麼，我們有個大膽的想法，能否直接用otter來充當etl工具呢？我們從數據庫多個業務表中選取數據，然後同步到一張累計事實表中 說幹就幹： 一、需求梳理： 1.
2020-06-16 13:14:22
8
原创 Eclipse因lombok與jdk版本不對導致的building workspace死循環解決方法
windows環境eclipse2019-06版本，在導入工程後，死循環building workspace。 開始以爲是window環境的問題，因爲同樣的工程在自己的mac上跑得好好的。 然後嘗試了各種解決方法無果。 突發奇想，曾經在m
2019-09-15 21:41:29
4
原创 docker學習（三）——使用docker-compose搭建canal-server、rockermq和fink環境
一：準備好docker運行環境,安裝指南參考: win:https://docker_practice.gitee.io/install/windows.html Mac:https://docker_practice.gitee.io/
2019-04-10 21:41:44
109
原创 otter學習（八）—— otter使用的一些經驗
1.不要讓otter去幹不屬於他的工作。otter專心於數據同步就好 2.因爲otter的輸出並非按時序處理的，很有可能會出現先update，再insert的騷操作，對此，我們儘量減少強轉爲update的處理，多用otter的insert
2019-02-27 22:51:16
1
原创 otter學習（三）——實踐一：單源單表同步到單表
假設我們有個需要：需要把崑山嘉民倉wms庫的t_inventory_bin表數據，同步到數據平臺的picking庫t_inventory_bin表中。 我們按以下步驟進行配置 一、配置數據源 1.登錄otter，進入配置管
2019-02-27 22:50:55
原创 otter學習（二）—— 快速搭建一個能夠本地調試的otter系統
一、搭建otter系統需要的環境 1.jdk1.6.25以上的版本 2.方便本地調試用的IDE(Eclipse\IntelliJ IDEA) 3.mysql數據庫 4.zookeeper 5.nod
2019-02-27 22:50:55
6
原创 otter學習（一）——otter原理
1.otter原理： 基於數據庫增量日誌解析，準實時同步到本機房或異地機房的mysql/oracle數據庫. 一個分佈式數據庫同步系統 原理描述： 1. 基於Canal開源產品，獲取數據庫增量日誌數據。
2019-02-27 22:50:55
原创 otter學習（六）—— 實踐四：多源多表同步單源單表
通過實踐一、二、三之後，我們已經能初步的運用otter來實現某個倉庫的數據同步需求，那麼多個倉庫都要往一張表裏同步怎麼辦呢？ otter的pipeline配置，是一個pipeline僅僅只能連接一個源，如果需要多源的情況下，僅僅只需要把之
2019-02-27 22:50:55
原创 otter學習（七）—— 實踐五：單源單表同步單源多表
通過了實踐一、二、三、四。我們已經初步解決了各倉庫訂單數據上雲的需求。 此時，倉庫爸爸們又來了一個新的需求，要求增加一個訂單打包數的統計。好說，我們一查對應關係，一個訂單有多少包裹，可以通過t_box關聯查到。 但是！t_box表已經有映
2019-02-27 22:50:44
原创 otter學習（九）——常見報錯處理
一、binlog文件被清理：Could not find first log file name in binary log index file 1.報錯日誌 2.現象 如下圖所示，pipeline的mainstem狀態 一直處於定位
2019-02-27 22:50:44
36
原创 otter學習（四）—— 實踐二：擴展同步
閱讀完實踐一的小夥伴肯定心想，如果只是單表同步，那我直接mysql的主從即可，何必搞得這麼麻煩。 雖然otter可以加速同步，但是國內的環境很少有達到阿里的那個場景的啊。 這時，我們就要開始第二次實踐，
2019-02-27 22:50:44
9
原创 docker學習(二)——學習network命令，使容器間通信
在學習docker的時候，比方說我起了一個mysql的容器，再起一個需要使用mysql的容器，這個時候會爲容器間通信而發愁 找了下資料，首先，docker的容器默認是在同一個網內，可以在進入容器後，用命令 cat /etc/hosts 來
2019-01-25 22:53:19
原创 docker學習(一)——使用docker搭建mysql5.7
最近工作需要重新搭建一套基於docker的數據平臺，記錄一下自己學習docker的過程 1.下載mysql鏡像 先查詢有哪些鏡像，然後挑一個下載 docker search mysql docker pull mysql:5.7 2.在本
2019-01-25 22:53:19
原创 mybatis namespace與association心得筆記
工作中有個sku模塊與其他9個業務模塊有關聯，需要查詢時同時查出其餘模塊的信息。 按照以前的笨方法，肯定是把其他9個模塊的resultMap全部copy到sku模塊裏來，再copy所有的查詢語句。拼成一條sql進行查詢。 或者在serv
2018-08-31 19:40:46
2