Mac pt-online-schema-change 圖文並茂、不鎖表在線修改 MySQL 表結構

導讀

　　percona-toolkit 源自 Maatkit 和 Aspersa 工具，這兩個工具是管理 MySQL 的最有名的工具，但 Maatkit 已經不維護了，全部歸併到 percona-toolkit。Percona Toolkit 是一組高級的命令行工具，用來管理 MySQL 和系統任務，主要包括：

• 驗證主節點和複製數據的一致性
• 有效的對記錄行進行歸檔
• 找出重複的索引
• 總結 MySQL 服務器
• 從日誌和 tcpdump 中分析查詢
• 問題發生時收集重要的系統信息
• 在線修改表結構

工作原理

• 如果存在外鍵，根據 alter-foreign-keys-method 參數的值，檢測外鍵相關的表，做相應設置的處理。沒有使用 alter-foreign-keys-method 指定特定的值，該工具不予執行
• 創建一個新的空表，其命名規則是：下劃線 + 原表名 +_new
• 根據 alter 語句，更新新表的表結構；
• 創建觸發器，用於記錄從拷貝數據開始之後，對源數據表繼續進行數據修改的操作記錄下來，用於數據拷貝結束後，執行這些操作，保證數據不會丟失。如果表中已經定義了觸發器這個工具就不能工作了。
• 拷貝數據，從源數據表中拷貝數據到新表中。
• 修改外鍵相關的子表，根據修改後的數據，修改外鍵關聯的子表。
• rename 源數據表爲 old 表，把新表 rename 爲源表名，其通過一個 RENAME TABLE 同時處理兩個表，實現原子操作。（RENAME TABLE dbteamdb.user TO dbteamdb._user_old, dbteamdb._user_new TO dbteamdb.user）
• 將 old 表刪除、刪除觸發器。

mac安裝

brew install percona-toolkit

官網地址：https://www.percona.com/downloads/percona-toolkit/LATEST/

　　注：如果mac上安裝很慢，請設置國內鏡像：點我直達

使用

pt-online-schema-change參數

　　語法：pt-online-schema-change [OPTIONS]

OPTIONS 參數說明

    --user:
    -u，連接的用戶名
    --password：
    -p，連接的密碼
    --database：
    -D，連接的數據庫
    --port
    -P，連接數據庫的端口
    --host:
    -h，連接的主機地址
    --socket:
    -S，連接的套接字文件
    --ask-pass
    隱式輸入連接 MySQL 的密碼
    --charset
    指定修改的字符集
    --defaults-file
    -F，讀取配置文件
    --alter：
    結構變更語句，不需要 alter table 關鍵字。可以指定多個更改，用逗號分隔。如下場景，需要注意：
        不能用 RENAME 來重命名錶。
        列不能通過先刪除，再添加的方式進行重命名，不會將數據拷貝到新列。
        如果加入的列非空而且沒有默認值，則工具會失敗。即其不會爲你設置一個默認值，必須顯示指定。
        刪除外鍵 (drop foreign key constrain_name) 時，需要指定名稱_constraint_name，而不是原始的 constraint_name。
        如：CONSTRAINT `fk_foo` FOREIGN KEY (`foo_id`) REFERENCES `bar` (`foo_id`)，需要指定：--alter "DROP FOREIGN KEY _fk_foo"
    --alter-foreign-keys-method
    如何把外鍵引用到新表？需要特殊處理帶有外鍵約束的表，以保證它們可以應用到新表。當重命名錶的時候，外鍵關係會帶到重命名後的表上。
    該工具有兩種方法，可以自動找到子表，並修改約束關係。
    auto： 在 rebuild_constraints 和 drop_swap 兩種處理方式中選擇一個。
    rebuild_constraints：使用 ALTER TABLE 語句先刪除外鍵約束，然後再添加。如果子表很大的話，會導致長時間的阻塞。
    drop_swap： 執行 FOREIGN_KEY_CHECKS=0, 禁止外鍵約束，刪除原表，再重命名新表。這種方式很快，也不會產生阻塞，但是有風險：
    1, 在刪除原表和重命名新表的短時間內，表是不存在的，程序會返回錯誤。
    2, 如果重命名錶出現錯誤，也不能回滾了。因爲原表已經被刪除。
    none： 類似"drop_swap"的處理方式，但是它不刪除原表，並且外鍵關係會隨着重命名轉到老表上面。
    --[no]check-alter
    默認 yes，語法解析。配合 --dry-run 和 --print 一起運行，來檢查是否有問題（change column，drop primary key）。
    --max-lag
    默認 1s。每個 chunk 拷貝完成後，會查看所有複製 Slave 的延遲情況。要是延遲大於該值，則暫停複製數據，直到所有從的滯後小於這個值，使用 Seconds_Behind_Master。如果有任何從滯後超過此選項的值，則該工具將睡眠 --check-interval 指定的時間，再檢查。如果從被停止，將會永遠等待，直到從開始同步，並且延遲小於該值。如果指定 --check-slave-lag，該工具只檢查該服務器的延遲，而不是所有服務器。
    --check-slave-lag
    指定一個從庫的 DSN 連接地址，如果從庫超過 --max-lag 參數設置的值，就會暫停操作。
    --recursion-method
    默認是 show processlist，發現從的方法，也可以是 host，但需要在從上指定 report_host，通過 show slave hosts 來找到，可以指定 none 來不檢查 Slave。
    METHOD       USES
    ===========  ==================
    processlist  SHOW PROCESSLIST
    hosts        SHOW SLAVE HOSTS
    dsn=DSN      DSNs from a table
    none         Do not find slaves
    指定 none 則表示不在乎從的延遲。
    --check-interval
    默認是 1。--max-lag 檢查的睡眠時間。

    --[no]check-plan
    默認 yes。檢查查詢執行計劃的安全性。

    --[no]check-replication-filters
    默認 yes。如果工具檢測到服務器選項中有任何複製相關的篩選，如指定 binlog_ignore_db 和 replicate_do_db 此類。發現有這樣的篩選，工具會報錯且退出。因爲如果更新的表 Master 上存在，而 Slave 上不存在，會導致複製的失敗。使用–no-check-replication-filters 選項來禁用該檢查。

    --[no]swap-tables
    默認 yes。交換原始表和新表，除非你禁止 --[no]drop-old-table。

    --[no]drop-triggers
    默認 yes，刪除原表上的觸發器。 --no-drop-triggers 會強制開啓 --no-drop-old-table 即：不刪除觸發器就會強制不刪除原表。

    --new-table-name
    複製創建新表的名稱，默認 %T_new。

    --[no]drop-new-table
    默認 yes。刪除新表，如果複製組織表失敗。

    --[no]drop-old-table
    默認 yes。複製數據完成重命名之後，刪除原表。如果有錯誤則會保留原表。

    --max-load
    默認爲 Threads_running=25。每個 chunk 拷貝完後，會檢查 SHOW GLOBAL STATUS 的內容，檢查指標是否超過了指定的閾值。如果超過，則先暫停。這裏可以用逗號分隔，指定多個條件，每個條件格式： status 指標 =MAX_VALUE 或者 status 指標：MAX_VALUE。如果不指定 MAX_VALUE，那麼工具會這隻其爲當前值的 120%。

    --critical-load
    默認爲 Threads_running=50。用法基本與 --max-load 類似，如果不指定 MAX_VALUE，那麼工具會這隻其爲當前值的 200%。如果超過指定值，則工具直接退出，而不是暫停。

    --default-engine
    默認情況下，新的表與原始表是相同的存儲引擎，所以如果原來的表使用 InnoDB 的，那麼新表將使用 InnoDB 的。在涉及複製某些情況下，很可能主從的存儲引擎不一樣。使用該選項會默認使用默認的存儲引擎。

    --set-vars
    設置 MySQL 變量，多個用逗號分割。默認該工具設置的是： wait_timeout=10000 innodb_lock_wait_timeout=1 lock_wait_timeout=60

    --chunk-size-limit
    當需要複製的塊遠大於設置的 chunk-size 大小，就不復制。默認值是 4.0，一個沒有主鍵或唯一索引的表，塊大小就是不確定的。

    --chunk-time
    在 chunk-time 執行的時間內，動態調整 chunk-size 的大小，以適應服務器性能的變化，該參數設置爲 0, 或者指定 chunk-size, 都可以禁止動態調整。

    --chunk-size
    指定塊的大小，默認是 1000 行，可以添加 k,M,G 後綴。這個塊的大小要儘量與 --chunk-time 匹配，如果明確指定這個選項，那麼每個塊就會指定行數的大小。

    --[no]check-plan
    默認 yes。爲了安全，檢查查詢的執行計劃。默認情況下，這個工具在執行查詢之前會先 EXPLAIN, 以獲取一次少量的數據，如果是不好的 EXPLAIN, 那麼會獲取一次大量的數據，這個工具會多次執行 EXPALIN, 如果 EXPLAIN 不同的結果，那麼就會認爲這個查詢是不安全的。
    --statistics
    打印出內部事件的數目，可以看到複製數據插入的數目。
    --dry-run
    創建和修改新表，但不會創建觸發器、複製數據、和替換原表。並不真正執行，可以看到生成的執行語句，瞭解其執行步驟與細節。--dry-run 與 --execute 必須指定一個，二者相互排斥。和 --print 配合最佳。
    --execute
    確定修改表，則指定該參數。真正執行。--dry-run 與 --execute 必須指定一個，二者相互排斥。
    --print
    打印 SQL 語句到標準輸出。指定此選項可以讓你看到該工具所執行的語句，和 --dry-run 配合最佳。
    --progress
    複製數據的時候打印進度報告，二部分組成：第一部分是百分比，第二部分是時間。
    --quiet
    -q，不把信息標準輸出。

添加索引

pt-online-schema-change --user=root --password=rootroot --host=127.0.0.1 --port=3306 --alter "ADD INDEX idx_name(user_name) USING BTREE" D=yb_test,t=sys_user --no-check-replication-filters --print --execute --charset=utf8  --max-load=Threads_running=20

• user：用戶名
• password：密碼
• host：主機ip
• port：mysql端口號
• alter：改表語句，注意跟沒有指定改表！！！！
• D：數據庫
• t：待修改表名
• no-check-replication-filters：不檢查複製篩選器
• print：打印SQL
• charset：指定修改的字符集
• max-load：限制20個線程執行，如果超過時，PT暫停操作，默認爲25
• execute：執行

演示

　　注意：

　　　　1、在舊錶中新建觸發器

　　　　2、新建一張表命名格式：_原表名_new

　　　　3、將舊錶數據，拷貝到新表；如果舊錶中有數據CRUD操作，會通過觸發器操作到新表

　　　　4、拷貝結束後，將原表改爲舊錶，新表改爲原表，刪除舊錶，刪除觸發器

添加字段

pt-online-schema-change --user=root --password=rootroot --host=127.0.0.1 --port=3306 --alter "ADD COLUMN t_remark varchar(255) NOT NULL default '' COMMENT '測試備註'" D=yb_test,t=sys_user --print --execute

• user：用戶名
• password：密碼
• host：主機ip
• port：mysql端口號
• alter：改表語句，注意跟沒有指定改表！！！！
• D：數據庫
• t：待修改表名
• print：打印SQL
• execute：執行

　　注意：alter中不能出現``，必須使用''

演示

修改字段名稱和長度(其他都類似)

pt-online-schema-change --user=root --password=rootroot --host=127.0.0.1 --port=3306 --alter "CHANGE COLUMN t_remark t_remark_new varchar(64) NOT NULL DEFAULT '' COMMENT '測試備註-new'" D=yb_test,t=sys_user --no-check-alter --print --execute

• user：用戶名
• password：密碼
• host：主機ip
• port：mysql端口號
• alter：改表語句，注意跟沒有指定改表！！！！
• D：數據庫
• t：待修改表名
• print：打印SQL
• execute：執行
• no-check-alter：不語法解析

　　注意：對於 change column 則需要指定：–no-check-alter

刪除字段

pt-online-schema-change --user=root --password=Dl123456. --host=47.116.143.16 --port=3306 --alter "DROP COLUMN t_remark_new" D=yb_test,t=sys_user --print --execute

• user：用戶名
• password：密碼
• host：主機ip
• port：mysql端口號
• alter：改表語句，注意跟沒有指定改表！！！！
• D：數據庫
• t：待修改表名
• print：打印SQL
• execute：執行