作者:楊非
前言
TiDB-DM 是由 PingCAP 開發的一體化數據同步任務管理平臺，支持從 MySQL 或 MariaDB 到 TiDB 的全量數據遷移和增量數據同步，在 TiDB DevCon 2019 正式開源。作爲一款連接 MySQL/MariaDB 生態和 TiDB 生態的中臺類型產品，DM 獲得了廣泛的關注，很多公司、開發者和社區的夥伴已經在使用 DM 來進行數據遷移和管理。隨着大家使用的廣泛和深入，遇到了不少由於對 DM 原理不理解而錯誤使用的情況，也發現了一些 DM 支持並不完善的場景和很多可以改進的地方。
在這樣的背景下，我們希望開展 DM 源碼閱讀分享活動，通過對 DM 代碼的分析和設計原理的解讀，幫助大家理解 DM 的實現原理，和大家進行更深入的交流，也有助於我們和社區共同進行 DM 的設計、開發和測試。
背景知識
本系列文章會聚焦 DM 自身，讀者需要有一些基本的知識，包括但不限於：
- Go 語言，DM 由 Go 語言實現，有一定的 Go 語言基礎有助於快速理解代碼。
- 數據庫基礎知識，包括 MySQL、TiDB 的功能、配置和使用等；知道基本的 DDL、DML 語句和事務的基本常識；MySQL 數據備份、主從同步的原理等。
- 基本的後端服務知識，比如後臺服務進程管理、RPC 工作原理等。
總體而言，讀者需要有一定 MySQL/TiDB 的使用經驗，瞭解 MySQL 數據備份和主從同步的原理，以及可以讀懂 Go 語言程序。在閱讀 DM 源碼之前，可以先從閱讀《TiDB-DM 架構設計與實現原理》入手，並且參考 使用文檔 在本地搭建一個 DM 的測試環境，從基礎原理和使用對 DM 有一個初步的認識，然後再進一步分析源碼，深入理解代碼的設計和實現。
內容概要
源碼閱讀系列將會從兩條線進行展開，一條是圍繞 DM 的系統架構和重要模塊進行分析，另一條線圍繞 DM 內部的同步機制展開分析。源碼閱讀不僅是對代碼實現的分析，更重要的是深入的分析背後的設計思想，源碼閱讀和原理分析的覆蓋範圍包括但不限於以下列出的內容（因爲目前 DM 仍處於快速迭代的階段，會有新的功能和模塊產生，部分模塊在未來也會進行優化和重構，後續源碼閱讀的內容會隨着 DM 的功能演進做適當的調整）：
- 整體架構介紹，包括 DM 有哪些模塊，分別實現什麼功能，模塊之間交互的數據模型和 RPC 實現。
- DM-worker 內部組件設計原理（relay-unit, dump-unit, load-unit, sync-unit）和數據同步的併發模型設計與實現。
- 基於 binlog 的數據同步模型設計和實現。
- relay log 的原理和實現。
- 定製化數據同步功能的實現原理（包括庫表路由，庫表黑白名單，binlog event 過濾，列值轉換）。
- DM 如何支持上游 online DDL 工具（pt-osc, gh-ost）的 DDL 同步場景。
- sharding DDL 處理的具體實現。
- checkpoint 的設計原理和實現，深入介紹 DM 如何在各類異常情況下保證上下游數據同步的一致性。
- DM 測試的架構和實現。
代碼簡介
DM 源代碼完全託管在 GitHub 上，從 項目主頁 可以看到所有信息，整個項目使用 Go 語言開發，按照功能劃分了很多 package，下表列出了 DM 每個 package 的基本功能：
| Package | Introduction |
|---|---|
| checker | 同步任務上下游數據庫配置、權限前置檢查模塊 |
| cmd/dm-ctl, cmd/dm-master, cmd/dm-worker | dmctl, DM-master, DM-worker 的 main 文件所在模塊 |
| dm/config | 同步任務配置、子任務配置、前置檢查配置定義模塊 |
| dm/ctl | dmctl 所有 RPC 調用實現的模塊 |
| dm/master | DM-master 的核心實現，包含了 DM-master 後臺服務，對 dmctl 到 DM-master 的 RPC 調用的處理邏輯，對 DM-worker 的管理，對 sharding DDL 進行協調調度等功能 |
| dm/pb, dm/proto | dm/proto 定義了 DM-master 和 DM-worker 相關交互的 protobuf 協議，dm/pb 是對應的生成代碼 |
| dm/unit | 定義了子任務執行的邏輯單元（包括 dump unit, load unit, sync unit, relay unit）接口，在每個不同邏輯單元對應的 package 內都有對應的 接口實現 |
| dm/worker | DM-worker 的核心實現，實現 DM-worker 後臺服務，管理維護每個任務的 relay 邏輯單元，管理、調度每個子任務的邏輯單元 |
| loader | 子任務 load 邏輯單元的實現，用於全量數據的導入 |
| mydumper | 子任務 dump 邏輯單元的實現，用於全量數據的導出 |
| pkg | 包含了一些基礎功能的實現，例如 gtid 操作、SQL parser 封裝、binlog 文件流讀寫封裝等 |
| relay | 處理 relay log 同步的核心模塊 |
| syncer | 子任務 sync 邏輯單元的實現，用於增量數據的同步 |
對於理解代碼最直接的手段就是從 DM-server, DM-worker 和 dmctl 三個 binary 對應的 main 文件入手，看 DM-worker, DM-master 是如何啓動，DM-worker 如何管理一個上游實例和同步任務；如何從 dmctl 開始同步子任務；然後看一個同步子任務從全量狀態，到增量同步狀態，binlog 如何處理、sql 任務如何分發等。通過這樣一個流程對 DM 的整體架構就會有全面的理解。進一步就可以針對每個使用細節去了解 DM 背後的設計邏輯和代碼實現，可以從具體每個 package 入手，也可以從感興趣的功能入手。
實際上 DM 代碼中使用了很多優秀的第三方開源代碼，包括但不僅限於：
- 藉助 grpc 實現各組件之間的 RPC 通信
- 藉助 pingcap/parser 進行 DDL 的語法解析和語句還原
- 藉助 pingcap/tidb-tools 提供的工具實現複雜的數據同步定製
- 藉助 go-mysql 解析 MySQL/MariaDB binlog 等
在源碼閱讀過程中對於比較重要的、與實現原理有很高相關度的第三方模塊，我們會進行相應的擴展閱讀。
工具鏈
工欲善其事，必先利其器，在閱讀 DM 源碼之前，我們先來介紹 DM 項目使用到的一些外部工具，這些工具通常用於 DM 的構建、部署、運行和測試，在逐步使用 DM，閱讀代碼、理解原理的過程中都會使用到這些工具。
- golang 工具鏈：構建 DM 需要 go >= 1.11.4，目前支持 Linux 和 MacOS 環境。
- gogoprotobuf：用於從 proto 描述文件生成 protobuf 代碼，DM 代碼倉庫的 generate-dm.sh 文件封裝了自動生成 DM 內部 protobuf 代碼的腳本。
- Ansible：DM 封裝了 DM-Ansible 腳本用於 DM 集羣的自動化部署，部署流程可以參考 使用 ansible 部署 DM。
- pt-osc, gh-ost：用於上游 MySQL 進行 online-ddl 的同步場景。
- mydumper：DM 的全量數據 dump 階段直接使用 mydumper 的 binary。
- MySQL, TiDB, sync_diff_inspector：這些主要用於單元測試和集成測試，可以參考 tests#preparations 這部分描述。
小結
本篇文章主要介紹了 DM 源碼閱讀的目的和源碼閱讀的規劃，簡單介紹了 DM 的源碼結構和工具鏈。下一篇文章我們會從 DM 的整體架構入手，詳細分析 DM-master、DM-worker 和 dmctl 三個組件服務邏輯的實現和功能抽象，RPC 數據模型和交互接口。更多的代碼閱讀內容會在後面的章節中逐步展開，敬請期待。
