Mysql在線回收undo表空間實戰

1 Mysql5.6

1.1 相關參數

MySQL 5.6增加了參數innodb_undo_directory、innodb_undo_logs和innodb_undo_tablespaces這3個參數,可以把undo log從ibdata1移出來單獨存放。

  • innodb_undo_directory:指定單獨存放undo表空間的目錄,默認爲.(即datadir),可以設置相對路徑或者絕對路徑。該參數實例初始化之後雖然不可直接改動,但是可以通過先停庫,修改配置文件,然後移動undo表空間文件的方式去修改該參數。

    默認參數:

    mysql> show variables like '%undo%';
    +-------------------------+-------+
    | Variable_name           | Value |
    +-------------------------+-------+
    | innodb_undo_directory   | .     |
    | innodb_undo_logs        | 128   |
    | innodb_undo_tablespaces | 0     |
    +-------------------------+-------+
  • innodb_undo_tablespaces:指定單獨存放的undo表空間個數,例如如果設置爲3,則undo表空間爲undo001、undo002、undo003,每個文件初始大小默認爲10M。該參數我們推薦設置爲大於等於3,原因下文將解釋。該參數實例初始化之後不可改動

實例初始化是修改innodb_undo_tablespaces:

mysql_install_db ...... --innodb_undo_tablespaces

$ ls
...
undo001  undo002  undo003
  • innodb_rollback_segments:默認128個。每個回滾段可同時支持1024個在線事務。這些回滾段會平均分佈到各個undo表空間中。該變量可以動態調整,但是物理上的回滾段不會減少,只是會控制用到的回滾段的個數。

1.2 使用

初始化實例之前,我們只需要設置innodb_undo_tablespaces參數(建議大於等於3)即可將undo log設置到單獨的undo表空間中。如果需要將undo log放到更快的設備上時,可以設置innodb_undo_directory參數,但是一般我們不這麼做,因爲現在SSD非常普及。innodb_undo_logs可以默認爲128不變。

undo log可以存儲於ibdata之外。但這個特性依然雞肋:

  • 首先你必須在install實例的時候就指定好獨立Undo tablespace, 在install完成後不可更改。
  • Undo tablepsace的space id必須從1開始,無法增加或者刪除undo tablespace。

1.3 大事務測試

mysql> create table test.tbl( id int primary key auto_increment, name varchar(200));
Query OK, 0 rows affected (0.03 sec)

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into test.tbl(name) values(repeat('1',00));
Query OK, 1 row affected (0.00 sec)

mysql> insert into test.tbl(name) select name from test.tbl;
Query OK, 1 row affected (0.00 sec)
Records: 1  Duplicates: 0  Warnings: 0

...

mysql> insert into test.tbl(name) select name from test.tbl;
Query OK, 2097152 rows affected (24.84 sec)
Records: 2097152  Duplicates: 0  Warnings: 0

mysql> commit;
Query OK, 0 rows affected (7.90 sec)

觀察undolog已經開始膨脹了!事務commit後空間也沒有回收。

$ du -sh undo*
10M    undo001
69M    undo002
10M    undo003

2 Mysql5.7

5.7引入了在線truncate undo tablespace

2.1 相關參數

必要條件:

  • innodb_undo_tablespaces:最少有兩個,這樣一個在清理的時候可以使用另一個,該參數實例初始化之後不可改動
  • innodb_rollback_segments:回滾段的個數,總會有一個回滾段分配給系統表空間,32個保留給臨時表空間。所以如果想使用undo表空間的話,這個值要至少爲33。例如使用兩個undo表空間,這個值就配35。如果設置多個undo表空間,系統表空間中的回滾段會變成非活躍狀態。

啓動參數:

  • innodb_undo_log_truncate=on
  • innodb_max_undo_log_size:超過這個值的表空間會標記爲truncate,動態參數默認是1G
  • innodb_purge_rseg_truncate_frequency:指定purge操作被喚起多少次之後才釋放rollback segments。當undo表空間裏面的rollback segments被釋放時,undo表空間纔會被truncate。由此可見,該參數越小,undo表空間被嘗試truncate的頻率越高。

2.2 清理過程

  1. undo表空間大小超過innodb_max_undo_log_size後,標記該表空間需要清理。標記會循環進行,避免一個表空間被反覆清理。
  2. 標記表空間內的回滾段變爲非活躍狀態,正在運行的事務等待執行完。
  3. 開始purge
  4. 釋放undo表空間中的所有回滾段後,運行truncate並將undo表空間截斷爲其初始大小,初始大小由innodb_page_size決定,默認16KB的大小對應表空間爲10MB
  5. 重新激活回滾段,以便將它們分配給新事務

2.3 性能建議

truncate表空間時避免影響性能的最簡單方法是增加撤消表空間的數量

2.4 大事務測試

配置8個undo表空間,innodb_purge_rseg_truncate_frequency=10

mysqld --initialize ... --innodb_undo_tablespaces=8

開始測試

mysql> show global variables like '%undo%';
+--------------------------+------------+
| Variable_name            | Value      |
+--------------------------+------------+
| innodb_max_undo_log_size | 1073741824 |
| innodb_undo_directory    | ./         |
| innodb_undo_log_truncate | ON         |
| innodb_undo_logs         | 128        |
| innodb_undo_tablespaces  | 8          |
+--------------------------+------------+

mysql> select @@innodb_purge_rseg_truncate_frequency;
+----------------------------------------+
| @@innodb_purge_rseg_truncate_frequency |
+----------------------------------------+
|                                     10 |
+----------------------------------------+

select @@innodb_max_undo_log_size;
+----------------------------+
| @@innodb_max_undo_log_size |
+----------------------------+
|                   10485760 |
+----------------------------+

mysql> create table test.tbl( id int primary key auto_increment, name varchar(200));
Query OK, 0 rows affected (0.03 sec)

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into test.tbl(name) values(repeat('1',00));
Query OK, 1 row affected (0.00 sec)

mysql> insert into test.tbl(name) select name from test.tbl;
Query OK, 1 row affected (0.00 sec)
Records: 1  Duplicates: 0  Warnings: 0

...

mysql> insert into test.tbl(name) select name from test.tbl;
Query OK, 2097152 rows affected (24.84 sec)
Records: 2097152  Duplicates: 0  Warnings: 0

mysql> commit;
Query OK, 0 rows affected (7.90 sec)

undo表空間情況,膨脹到100MB+後成功回收

$ du -sh undo*
10M    undo001
10M    undo002
10M    undo003
10M    undo004
10M    undo005
10M    undo006
125M   undo007
10M    undo008

$ du -sh undo*
10M    undo001
10M    undo002
10M    undo003
10M    undo004
10M    undo005
10M    undo006
10M    undo007
10M    undo008

3 Reference

https://dev.mysql.com/doc/ref...

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章