前言
在雲平臺的日常運維工作中，有很多故障排查和數據覈對的場景，爲了給全線運維人員（含部分開發和運營分析人員）提供現網數據的實時查詢，我們使用MySQL和開源工具otter搭建了一套數據查詢和管理系統，可以查詢平臺各資源池現網當前的數據。並與現網保持準實時同步（秒級延時）。
查詢模塊的主要組件是MySQL，納管線上業務系統的核心數據庫，用戶使用頻次極高，此臺MySQL中的部分核心數據還作爲其他資源池的源數據，實時同步給異地機房。負責數據實時同步的otter管理節點與MySQL部署在同一物理機上，是雲平臺所有資源池中查詢模塊的中樞節點。
首先，介紹一下開源工具Otter（內容引自GitHub）
Otter是由阿里提供的基於數據庫增量日誌解析，準實時同步到本機房或異地機房MySQL數據庫的一個分佈式數據庫同步系統，工作原理如下：
- db：數據源以及需要同步到的庫；
- Canal：用戶獲取數據庫增量日誌；
- manager：配置同步規則設置數據源同步源等；
- zookeeper：協調node進行協調工作；
- node：負責任務處理處理接受到的部分同步工作。
一、Otter的特性
1、純JAVA開發，佔時資源比較高
2、基於Canal獲取數據庫增量日誌數據，Canal是阿里另一款開源產品
下面是Canal的原理圖：
基於MySQL主備複製原理：
- MySQL master 將數據變更寫入二進制日誌( binary log, 其中記錄叫做二進制日誌事件binary log events，可以通過 show binlog events 進行查看)；
- MySQL slave 將 master 的 binary log events 拷貝到它的中繼日誌(relay log)；
- MySQL slave 重放 relay log 中事件，將數據變更反映它自己的數據。
Canal工作原理：
- Canal 模擬 MySQL slave 的交互協議，僞裝自己爲 MySQL slave ，向 MySQL master 發送dump 協議；
- MySQL master 收到 dump 請求，開始推送 binary log 給 slave (即 canal )；
- Canal 解析 binary log 對象(原始爲 byte 流)。
3、典型管理系統架構，manager(web管理)+node(工作節點)
1）manager運行時推送同步配置到node節點，負責配置監控
2）node節點將同步狀態反饋到manager上，負責處理任務
4、基於zookeeper，解決分佈式狀態調度的，允許多node節點之間協同工作
5、使用aria2多線程傳輸技術，對網絡依賴帶寬依賴較低
二、Otter能解決什麼問題
1、異構庫同步
MySQL -> MySQL/Oracle。(目前開源版本只支持MySQL增量，目標庫可以是MySQL或者Oracle，取決於Canal的功能)
2、單機房同步 (數據庫之間RTT < 1ms)
- 數據庫版本升級；
- 數據表遷移；
- 異步二級索引。
3、異地機房同步（是Otter最大的亮點之一，可以解決國際化問題把數據從國內同步到國外提供用戶使用，在國內場景可以做到數據多機房容災)
機房容災
4、雙向同步（雙向同步是在數據同步中最難搞的一種場景，Otter可以很好的應對這種場景，Otter有避免迴環算法和數據一致性算法兩種特性，保證雙A機房模式下，數據保證最終一致性）
1）避免迴環算法 (通用的解決方案，支持大部分關係型數據庫)
2）數據一致性算法 (保證雙A機房模式下，數據保證最終一致性，亮點)
5、文件同步
站點鏡像 (進行數據複製的同時，複製關聯的圖片，比如複製產品數據，同時複製產品圖片)
單機房複製示意圖：
說明：
- 數據on-Fly，儘可能不落地，更快的進行數據同步. (開啓node loadBalancer算法，如果Node節點S+ETL落在不同的Node上，數據會有個網絡傳輸過程)；
- node節點可以有failover / loadBalancer。
異地機房複製示意圖：
說明：
- 數據涉及網絡傳輸，S/E/T/L幾個階段會分散在2個或者更多Node節點上，多個Node之間通過zookeeper進行協同工作 (一般是Select和Extract在一個機房的Node，Transform/Load落在另一個機房的Node)；
- node節點可以有failover / loadBalancer. (每個機房的Node節點，都可以是集羣，一臺或者多臺機器)。
關於Otter的調度模型、數據入庫算法、一致性、高可用性和擴展性等內容，可以登錄GitHub瞭解。
「Otter」相關鏈接：https://github.com/alibaba/otter/wiki/Introduction
裏面有詳細的介紹，本文不再贅述，下面重點說明一下otter的安裝和使用。
三、安裝部署
移動雲業務需要數據彙總，需將多個主數據庫同步彙總到一個從數據庫中，方便數據統計分析。Otter中間件則滿足了此需求，相對比多源複製，更加靈活和可塑性。
前面簡單介紹了Otter的基本信息，下面開始搭建一個Otter環境，因爲一個Otter需要Manage+node+數據庫還有很多的依賴，這裏我們先來搭建Otter的管理服務器Manager。
1、環境準備
1）阿里軟件
Otter(manager、node)軟件：https://github.com/alibaba/otter/releases
Manager數據庫初始化腳本：https://raw.githubusercontent.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql
2）集羣
Zookeeper：http://download.csdn.net/download/jxplus/9451794
3）JAVA
JDK：測試環境使用yum安裝1.6以上版本
4）數據庫
Mysql5.7：http://dev.mysql.com/downloads/mysql/
5）操作系統
CentOS 7.1.1503 (Core)：https://www.centos.org/download/
版本信息
2、軟件安裝
1）操作系統安裝
2）java jdk1.6
安裝完成操作系統後，使用yum安裝jdk1.6以上版本(含1.6)
yum -y install java-1.6.0-openjdk.x86_64
3）安裝MySQL數據庫
4）安裝集羣軟件ZooKeeper
下載安裝包後解壓即可，不需要編譯安裝。然後進行配置：
① 修改tickTime、clientPort、dataDir參數
vim /zookeeper-3.4.8/conf/zoo.cfg
tickTime：時長單位爲毫秒，爲zk使用的基本時間度量單位。例如，1 * tickTime是客戶端與zk服務端的心跳時間，2 * tickTime是客戶端會話的超時時間。
tickTime的默認值爲2000毫秒，更低的tickTime值可以更快地發現超時問題，但也會導致更高的網絡流量（心跳消息）和更高的CPU使用率（會話的跟蹤處理）。
clientPort：zk服務進程監聽的TCP端口，默認情況下，服務端會監聽2181端口。
dataDir：無默認配置，必須配置，用於配置存儲快照文件的目錄。
② 執行下面命令啓動server
cd /zookeeper-3.4.8/bin/ ./zkServer.sh start
③ 查看是否啓動成功
ps -ef |grep zookeeper
5）安裝阿里otter(manager、node)
① 初始化manager的otter數據庫
連接安裝好的mysql數據庫，在數據庫軟件中創建otter數據庫，在操作系統命令行執行：
mysql -uroot -pxxxx otter <otter-manager-schema.sql
② 解壓manager安裝包到指定目錄，並做如下修改
vim /otter/conf/otter.properties otter.domainName=本機IP otter.port = web訪問端口 otter.zookeeper.cluster.default=zookeeper server ip
③ cd /otter/bin執行shstartup.sh，查看 vim /otter/logs/manager.log，出現以下信息說明manager啓動成功
④ 訪問本機ip+port，可以看到manager管理平臺，使用匿名用戶只能查看，使用admin用戶可以操作配置
⑤ 安裝node，在manager頁面爲node定義配置信息，並生一個唯一id，首先訪問manager頁面的機器管理頁面，點擊添加機器按鈕並配置node的一些參數
機器名稱：自定義，方便記憶即可
機器IP ：對應node節點將要部署的機器ip，如果有多ip時，可選擇其中一個ip進行暴露(此ip是整個集羣通訊的入口，實際情況千萬別使用127.0.0.1，否則多個機器的node節點會無法識別)
機器端口：node數據通信端口，建議默認2088
下載端口：node數據下載端口，建議默認9090
外部地址：node部署的物理機外網IP，存在一個外部ip允許通訊的時候走公網處理，沒有可以不寫。
Zookeeper集羣：zookeper server ip
⑥ 機器添加完成後，跳轉到機器列表頁面，獲取對應的機器序號nid
⑦ 解壓node安裝包到指定目錄，將第五步生成的nid寫入conf目錄下的nid文件
echo nid> /node/conf/nid
⑧ 修改 /node/conf/otter.properties文件
otter.manager.address = manager 安裝部署機器的IP+PORT
例如：
otter.manager.address = 192.168.165.200:1099
⑨ 啓動node
cd /node/bin sh startup.sh
⑩ 驗證node
訪問 http://managerip:port/node_list.htm，查看對應節點狀態，如果變爲已啓動，說明node已經正常啓動。
3、同步配置
1）添加數據源-數據來源端
2）添加數據源-數據落地端
3）添加需要同步的數據表-數據來源端
4）添加需要同步的數據表-數據落地端
5）添加canal
6）添加channel
7）添加Pipeline
點擊上一步添加的channel1，添加pipeline。
8）添加表映射關係
點擊上一步添加的pipeline test17，添加表映射關係。
9）啓動channel
添加完成表映射關係後，回到channel頁面，啓動剛剛添加channel1。
10）測試同步
11）構建kerberos安全域
由於查詢涉及到現網數據的異地傳輸，數據安全保障工作十分重要，因此構建了Kerberos安全域。域內的組件互通，以及外部客戶端訪問域內組件，均需要經過kerberos的認證。
通過上述操作otter環境基本配置好了，並且搭建了zookeeper+manager環境，成功運行了otter-manager管理界面，並完成了數據同步測試。這樣我們初步完成了數據同步和查詢平臺的搭建。
四、數據查詢平臺的使用
1、訪問方法
推薦使用Navicat等工具，IP、端口、賬號、密碼等和原魔數臺相同。
可以將訪問頻次比較高的數據保存爲視圖。
不建議使用select * 或沒有任何條件的全表查詢，查詢數據前先查找對象表的主鍵，並使用主鍵過濾。
2、查詢模塊架構設計
查詢模塊的邏輯架可以設計爲星型結構，MySQL除作爲核心數據主節點，將核心數據分發到各資源池之外，其他資源池的數據不互通。
3、數據一致性整治
爲兼容數據表外鍵（外鍵關聯的表數據變更不能被同步），保證數據一致性，對出現不一致的表數據，採用點對點trigger觸發變更的方式，逐個建立關聯觸發器。
總結
通過以上方式，我們就初步搭建了一套生產環境數據同步和查詢系統，可以滿足日常運維中大多數故障排查和數據覈對的場景，爲運維人員提供一種安全、實時和有效的數據查詢平臺。
作者介紹：
劉書浩，“移動雲”DBA，負責“移動雲”業務系統的數據庫運維、標準化等工作；擅長MySQL技術領域，熟悉MySQL複製結構、Cluster架構及運維優化；具有自動化運維經驗，負責“移動雲”數據庫管理平臺的搭建。
本文由 dbaplus 社羣授權轉載。