背景
早期，阿里巴巴B2B公司因爲存在杭州和美國雙機房部署，存在跨機房同步的業務需求。不過早期的數據庫同步業務，主要是基於trigger的方式獲取增量變更，不過從2010年開始，阿里系公司開始逐步的嘗試基於數據庫的日誌解析，獲取增量變更進行同步，由此衍生出了增量訂閱&消費的業務，從此開啓了一段新紀元。
ps. 目前內部版本已經支持mysql和oracle部分版本的日誌解析，當前的canal開源版本支持5.6及以下的版本(阿里內部mysql 5.6.10, mysql 5.5.18和5.1.40/48)
基於日誌增量訂閱&消費支持的業務：
- 數據庫鏡像
- 數據庫實時備份
- 多級索引 (賣家和買家各自分庫索引)
- search build
- 業務cache刷新
- 價格變化等重要業務消息
項目介紹
名稱：canal [kə'næl]
譯意： 水道/管道/溝渠
語言： 純java開發
定位： 基於數據庫增量日誌解析，提供增量數據訂閱&消費，目前主要支持了mysql
關鍵詞： mysql binlog parser / real-time / queue&topic
工作原理
mysql主備複製實現
從上層來看，複製分成三步：
- master將改變記錄到二進制日誌(binary log)中（這些記錄叫做二進制日誌事件，binary log events，可以通過show binlog events進行查看）；
- slave將master的binary log events拷貝到它的中繼日誌(relay log)；
- slave重做中繼日誌中的事件，將改變反映它自己的數據。
canal的工作原理：
原理相對比較簡單：
- canal模擬mysql slave的交互協議，僞裝自己爲mysql slave，向mysql master發送dump協議
- mysql master收到dump請求，開始推送binary log給slave(也就是canal)
- canal解析binary log對象(原始爲byte流)