一、Galera集羣實驗環境

本篇以搭建三節點Galera Cluster for MySQL 5.7爲例，說明Galera集羣的安裝步驟與基本配置，實驗環境如下。

IP與主機名：
172.16.1.125   hdp2
172.16.1.126   hdp3
172.16.1.127   hdp4

軟件環境：
CentOS Linux release 7.2.1511 (Core)
galera-3.28
mysql-wsrep-5.7.27
Percona-XtraBackup-2.4.15

硬件環境：
三臺虛擬機，每臺基本配置爲：
. 雙核雙CPU，Intel(R) Xeon(R) CPU E5-2420 0 @ 1.90GHz
. 8G物理內存，8G Swap
. 100G物理硬盤

二、初始安裝

我們從最簡單的場景開始，假設在沒有任何應用數據和訪問的情況下，從頭開始安裝Galera集羣。

1. 安裝galera-3、mysql-wsrep-5.7、Percona-XtraBackup-2.4.15

以下步驟以root用戶在三臺主機執行。

（1）安裝依賴包

yum install perl-Time-HiRes
yum -y install perl-DBD-MySQL.x86_64
yum -y install libaio*

（2）創建yum源文件

cat > /etc/yum.repos.d/galera.repo <<-END
[galera]
name = Galera
baseurl = https://releases.galeracluster.com/galera-3.28/centos/7/x86_64
gpgkey = https://releases.galeracluster.com/galera-3.28/GPG-KEY-galeracluster.com
gpgcheck = 1

[mysql-wsrep]
name = MySQL-wsrep
baseurl =  https://releases.galeracluster.com/mysql-wsrep-5.7.27-25.19/centos/7/x86_64
gpgkey = https://releases.galeracluster.com/mysql-wsrep-5.7.27-25.19/GPG-KEY-galeracluster.com
gpgcheck = 1
END

（3）安裝galera-3與mysql-wsrep-5.7

yum install -y galera-3 mysql-wsrep-5.7

（4）確認相關的rpm包

[root@hdp2~]#rpm -qa | grep -E 'galera|wsrep'
mysql-wsrep-client-5.7-5.7.27-25.19.el7.x86_64
galera-3-25.3.28-1.el7.x86_64
mysql-wsrep-common-5.7-5.7.27-25.19.el7.x86_64
mysql-wsrep-libs-5.7-5.7.27-25.19.el7.x86_64
mysql-wsrep-server-5.7-5.7.27-25.19.el7.x86_64
mysql-wsrep-5.7-5.7.27-25.19.el7.x86_64
mysql-wsrep-libs-compat-5.7-5.7.27-25.19.el7.x86_64
[root@hdp2~]#

（5）安裝xtrabackup
如果SST使用xtrabackup需要執行此步驟。注意xtrabackup與MySQL服務器的兼容性，如果版本不匹配會在xtrabackup的日誌中報類似下面的錯誤：

innobackupex: Error: Unsupported server version: '5.7.27' Please report a bug at https://bugs.launchpad.net/percona-xtrabackup

對於MySQL 5.7.27，可從https://www.percona.com/downloads/Percona-XtraBackup-2.4/LATEST/下載xtrabackup 2.4.15版本。

# 安裝xtrabackup
rpm -ivh percona-xtrabackup-24-2.4.15-1.el7.x86_64.rpm

至此軟件包安裝已完成。啓動集羣只要很少幾項必須配置。

2. 修改配置文件

編輯/etc/my.cnf文件，增加以下內容：

[mysqld]
log-error=/var/log/mysqld.log
wsrep_provider=/usr/lib64/galera-3/libgalera_smm.so
wsrep_cluster_name="mysql_galera_cluster"
wsrep_cluster_address="gcomm://172.16.1.125,172.16.1.126,172.16.1.127"
wsrep_sst_method=xtrabackup
wsrep_sst_auth=root:P@sswo2d
wsrep_node_name=node1               # 另外兩個節點分別爲node2、node3
wsrep_node_address="172.16.1.125"   # 另外兩個節點分別爲172.16.1.126、172.16.1.127

系統變量說明：

log-error：MySQL錯誤日誌文件，集羣初始化後從該文件中查找初始密碼。
wsrep_provider：galera庫文件。
wsrep_cluster_name：集羣名稱。
wsrep_cluster_address：集羣節點IP地址。
wsrep_sst_method：SST方法。
wsrep_sst_auth：SST認證信息，xtrabackup使用此用戶名和口令連接數據庫實例。
wsrep_node_name：當前節點名稱。
wsrep_node_address：當前節點地址。

3. 初始化集羣

下面步驟以root用戶在任一主機執行。

（1）啓動第一個節點

/usr/bin/mysqld_bootstrap

該命令會啓動本機的 mysqld 服務，MySQL缺省安裝目錄爲/var/lib/mysql。注意，/usr/bin/mysqld_bootstrap 命令只在集羣第一個節點啓動時使用，因爲該腳本中帶有一個參數：–wsrep-new-cluster，代表新建集羣。

# 查看mysqld服務狀態
systemctl status mysqld

（2）查找並修改初始密碼

# 查找初始密碼
grep -i 'temporary password' /var/log/mysqld.log

# 修改mysql root用戶密碼，需要根據提示輸入上一步輸出的初始密碼
mysqladmin -uroot -p password 'P@sswo2d'

（3）創建一個非root管理賬號

create user wxy identified by 'P@sswo2d';
grant all on *.* to wxy with grant option;

4. 啓動集羣其它節點的mysqld服務

# 在其它兩個主機上以root用戶執行

systemctl start mysqld

5. 驗證安裝

（1）查看集羣節點數量

mysql> show status like 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| wsrep_cluster_size | 3     |
+--------------------+-------+
1 row in set (0.00 sec)

（2）在三個節點分別建表插入數據，查看複製情況

-- node1
create database test;
use test;
create table t1(a int);
insert into t1 values(1);

-- node2
use test;
create table t2(a int);
insert into t2 values(2);

-- node2
use test;
create table t3(a int);
insert into t3 values(3);

在三個節點查詢數據，結果一致：

mysql> select t1.a,t2.a,t3.a from test.t1,test.t2,test.t3;
+------+------+------+
| a    | a    | a    |
+------+------+------+
|    1 |    2 |    3 |
+------+------+------+
1 row in set (0.00 sec)

6. 問題排查

如果在初始化集羣或啓動mysqld服務時，錯誤日誌中出現類似以下錯誤：

2019-10-05T10:25:29.729981Z 0 [ERROR] WSREP: wsrep_load(): dlopen(): /usr/lib64/galera-3/libgalera_smm.so: symbol SSL_COMP_free_compression_methods, version libssl.so.10 not defined in file libssl.so.10 with link time reference

說明galera插件沒有加載成功。此時mysqld仍然可以成功啓動，但是以單實例提供讀寫服務，不會進行節點間數據複製。升級OpenSSL軟件包即可解決此問題。例如：

cd /etc/yum.repos.d/
wget http://mirrors.163.com/.help/CentOS7-Base-163.repo
yum -y upgrade openssl

三、使用SST增加節點

假設node1、node2是正在使用的Galera集羣節點，現在要增加第三個節點node3。目標是在對現有節點無阻塞的前提下，爲新增節點進行SST數據同步。

（1）將hdp4初始化爲新節點

# 在hdp4上執行
systemctl stop mysqld
rm -rf /var/lib/mysql
rm -rf /var/log/mysqld.log

（2）使用tpcc-mysql對hdp2執行壓測，模擬應用負載

# 安裝tpcc-mysql
tar -zxvf tpcc-mysql.tar.gz
cd tpcc-mysql/src
make
cd ..

# 創建壓測庫表
mysql -uwxy -pP@sswo2d -h172.16.1.125 -e "create database tpcc_test;"
mysql -uwxy -pP@sswo2d -h172.16.1.125 -Dtpcc_test < create_table.sql
mysql -uwxy -pP@sswo2d -h172.16.1.125 -Dtpcc_test < add_fkey_idx.sql

# 準備數據
tpcc_load 172.16.1.125 tpcc_test wxy P@sswo2d 10

# 備份測試庫用於重複測試
mysqldump --databases tpcc_test -uwxy -pP@sswo2d -h172.16.1.125 > tpcc_test.sql

# 執行壓測
tpcc_start -h172.16.1.125 -d tpcc_test -u wxy -p "P@sswo2d" -w 10 -c 32 -r 60 -l 300

關於tpcc-mysql的詳細安裝及使用說明參見https://wxy0327.blog.csdn.net/article/details/94614149#1.%20%E6%B5%8B%E8%AF%95%E8%A7%84%E5%88%92。

（3）在壓測執行期間，啓動hdp4上的MySQL實例

systemctl start mysqld

在hdp4啓動過程中，hdp2、hdp3都是非阻塞的，但是會報以下鎖錯誤：

Deadlock found when trying to get lock; try restarting transaction
Lock wait timeout exceeded; try restarting transaction

生產系統的Galera集羣中聯機添加節點時需要關注這個問題。當hdp4的MySQL實例啓動成功，後續的壓測過程不會再報錯。hdp2的/var/log/mysqld.log文件中有以下關於SST的信息：

2019-10-16T02:04:07.877299Z 2 [Note] WSREP: Assign initial position for certification: 106026, protocol version: 4
2019-10-16T02:04:07.877385Z 0 [Note] WSREP: Service thread queue flushed.
2019-10-16T02:04:08.307002Z 0 [Note] WSREP: Member 0.0 (node3) requested state transfer from '*any*'. Selected 1.0 (node1)(SYNCED) as donor.
2019-10-16T02:04:08.307028Z 0 [Note] WSREP: Shifting SYNCED -> DONOR/DESYNCED (TO: 106177)
2019-10-16T02:04:08.377506Z 2 [Note] WSREP: wsrep_notify_cmd is not defined, skipping notification.
2019-10-16T02:04:08.377644Z 0 [Note] WSREP: Running: 'wsrep_sst_xtrabackup --role 'donor' --address '172.16.1.127:4444/xtrabackup_sst' --socket '/var/lib/mysql/mysql.sock' --datadir '/var/lib/mysql/' --defaults-file '/etc/my.cnf' --defaults-group-suffix ''   '' --gtid 'cada8d04-ef2b-11e9-a196-1ea90518b418:106177''
2019-10-16T02:04:08.380201Z 2 [Note] WSREP: sst_donor_thread signaled with 0
WSREP_SST: [INFO] Streaming with tar (20191016 10:04:08.542)
WSREP_SST: [INFO] Using socat as streamer (20191016 10:04:08.544)
WSREP_SST: [INFO] Streaming the backup to joiner at 172.16.1.127 4444 (20191016 10:04:08.552)
WSREP_SST: [INFO] Evaluating innobackupex --defaults-file=/etc/my.cnf $INNOEXTRA --galera-info --stream=$sfmt ${TMPDIR} 2>${DATA}/innobackup.backup.log | socat -u stdio TCP:172.16.1.127:4444; RC=( ${PIPESTATUS[@]} ) (20191016 10:04:08.555)
2019-10-16T02:04:10.586433Z 0 [Note] WSREP: (cad9d0f0, 'tcp://0.0.0.0:4567') turning message relay requesting off
2019-10-16T02:05:11.408356Z 89 [Note] WSREP: Provider paused at cada8d04-ef2b-11e9-a196-1ea90518b418:108094 (111402)
2019-10-16T02:05:11.679454Z 89 [Note] WSREP: resuming provider at 111402
2019-10-16T02:05:11.679485Z 89 [Note] WSREP: Provider resumed.
2019-10-16T02:05:12.057568Z 0 [Note] WSREP: 1.0 (node1): State transfer to 0.0 (node3) complete.
2019-10-16T02:05:12.057596Z 0 [Note] WSREP: Shifting DONOR/DESYNCED -> JOINED (TO: 108185)
WSREP_SST: [INFO] Total time on donor: 0 seconds (20191016 10:05:12.057)
2019-10-16T02:05:12.058281Z 0 [Note] WSREP: Member 1.0 (node1) synced with group.
2019-10-16T02:05:12.058296Z 0 [Note] WSREP: Shifting JOINED -> SYNCED (TO: 108185)
2019-10-16T02:05:12.127179Z 2 [Note] WSREP: Synchronized with group, ready for connections
2019-10-16T02:05:12.127215Z 2 [Note] WSREP: wsrep_notify_cmd is not defined, skipping notification.
2019-10-16T02:05:20.968604Z 0 [Note] WSREP: 0.0 (node3): State transfer from 1.0 (node1) complete.
2019-10-16T02:09:34.556227Z 0 [Note] WSREP: Member 0.0 (node3) synced with group.

當在hdp4上執行systemctl start mysqld後，集羣中的所有節點首先會將已提交的事務刷新到磁盤，之後選擇一個捐贈者向新增節點全量同步數據，本例中系統選擇了node1作爲捐獻者。然後node1調用xtrabackup向node3拷貝物理文件，期間產生的寫集將被緩存。node1成爲捐獻者時，狀態由SYNCED轉爲DONOR/DESYNCED；當xtrabackup備份完成時，其狀態變爲JOINED；最後應用完緩存的寫集時，狀態又從JOINED變爲SYNCED。同樣從hdp4的/var/log/mysqld.log文件中可以發現，node3的狀態變化過程爲：OPEN -> PRIMARY -> JOINER -> JOINED -> SYNCED。

四、使用IST增加節點

SST方法將全量數據從捐獻者節點拷貝到新加入節點，這類似於在MySQL主庫做一個全備份，然後在從庫還原，只不過在Galera集羣中，該過程依賴於新加入節點的狀態而自動觸發。對於高併發大庫環境下新增節點，SST方式可能會很痛苦。首先，如果使用mysqldump或rsync做SST，捐贈者節點時被阻塞的。其次，對於幾百GB或更多的數據集，即使網絡夠快，同步過程也需要幾個小時才能完成。所以生產環境新增節點時最好避免使用SST，而是改用IST。

IST只向新節點發送它比捐贈者Gcache中少的寫集。Gcache是Galera節點保存寫集副本的文件。IST比SST快得多，無阻塞，對捐贈者無明顯影響。只要可能，這應該是新增節點的首選方案。

有時SST是不可避免的，當Galera無法確定新增節點狀態時會發生這種情況。狀態存儲在grastate.dat文件中，如果發生以下情況將觸發SST：

在MySQL數據目錄下不存在grastate.dat文件——節點可能是一個“乾淨的”新節點。
grastate.dat文件中沒有seqno或group id——節點可能在DDL期間崩潰。
由於缺少權限或文件系統損壞，grastate.dat無法讀取。

1. 設置gcache.size

在上篇介紹IST時曾經提到，使用IST需要滿足兩個先決條件：新節點UUID與集羣相同；Gcache足夠存儲增量寫集。第一點很好滿足，用xtrabackup對集羣實例做物理備份時會自動爲新節點保持集羣的UUID。要滿足第二個條件，需要進行一些計算，估計所需Gcache的大小。例如，對於tpcc-mysql壓測，可以按下面的方法估算。

（1）執行壓測

tpcc_start -h172.16.1.125 -d tpcc_test -u wxy -p "P@sswo2d" -w 10 -c 32 -r 60 -l 300

（2）在壓測期間執行查詢

set global show_compatibility_56=on;
set @start := (select sum(variable_value/1024/1024) from information_schema.global_status where variable_name like 'wsrep%bytes'); 
do sleep(60); 
set @end := (select sum(variable_value/1024/1024) from information_schema.global_status where variable_name like 'wsrep%bytes'); 
select round((@end - @start),2) as `Mb/min`, round((@end - @start),2) * 60 as `Mb/hour`;

該查詢計算每分鐘寫的字節數，結果如下：

+--------+---------+
| Mb/min | Mb/hour |
+--------+---------+
| 116.66 | 6999.60 |
+--------+---------+

壓測總執行時間6分鐘（預熱1分鐘，執行5分鐘），gcache.size只要設置爲大於117 * 6MB即可，因此這裏把gcache.size均設置爲1G，足夠演示IST數據同步。在三個節點的配置文件/etc/my.cnf中添加如下參數，然後重啓實例使之生效。

wsrep_provider_options="gcache.size=1073741824"

2. IST測試

同樣假設node1、node2是正在使用的Galera集羣節點，現在要增加第三個節點node3。爲避免SST，將從node1使用xtrabackup創建完整備份，在node3上恢復備份並創建Galera狀態文件，以便Galera可以確定節點的狀態並跳過SST。爲了儘可能接近IST之前的最新數據，還將創建一個增量備份。

（1）將hdp4初始化爲新節點

# 在hdp4上用root用戶執行
systemctl stop mysqld
rm -rf /var/lib/mysql/*
rm -rf /var/log/mysqld.log 
rm -rf /tmp/incremental/*

（2）向集羣重新導入壓測庫

mysql -uwxy -pP@sswo2d -h172.16.1.125 -Dtpcc_test < tpcc_test.sql

（3）執行壓測模擬生產負載

tpcc_start -h172.16.1.125 -d tpcc_test -u wxy -p "P@sswo2d" -w 10 -c 32 -r 60 -l 300

接下來的第（4）、（5）、（6）、（7）步驟均在第（3）步運行期間執行。

（4）手工執行對集羣的xtrabackup備份

# 在hdp2上用mysql用戶執行下面的命令進行全量備份（已經事先配置好了hdp2到hdp4的免密登錄）
innobackupex --defaults-file=/etc/my.cnf --user=wxy --password=P@sswo2d --socket=/var/lib/mysql/mysql.sock --galera-info --no-lock --stream=xbstream ./ | ssh [email protected] "xbstream -x -C /var/lib/mysql"

# 再執行一個增量備份，這裏僅用於演示
scp [email protected]:/var/lib/mysql/xtrabackup_checkpoints /home/mysql/
innobackupex --defaults-file=/etc/my.cnf --user=wxy --password=P@sswo2d --socket=/var/lib/mysql/mysql.sock --incremental --incremental-basedir=/home/mysql --galera-info --no-lock --stream=xbstream ./ | ssh [email protected] "xbstream -x -C /tmp/incremental"

（5）恢復hdp4的數據文件
第（4）步執行完成後，在hdp4上用mysql用戶執行以下命令：

# 恢復全量
innobackupex --apply-log --redo-only /var/lib/mysql/
# 恢復增量
innobackupex --apply-log --redo-only /var/lib/mysql/ --incremental-dir=/tmp/incremental

（6）生成grastate.dat文件
根據xtrabackup_galera_info文件中的內容生成grastate.dat文件，用於IST增量同步。在hdp4上用mysql用戶執行以下命令：

# 查看xtrabackup_galera_info
cat /var/lib/mysql/xtrabackup_galera_info

# 生成grastate.dat文件，uuid和seqno的值來自xtrabackup_galera_info
tee /var/lib/mysql/grastate.dat <<EOF
# GALERA saved state
version: 2.1
uuid:    650c3acb-eff8-11e9-9905-c73959fd46ca
seqno:   743544
safe_to_bootstrap: 0
EOF

（7）啓動新節點實例

# 用root用戶在hdp4上執行
systemctl start mysqld

hdp2的/var/log/mysqld.log文件中有以下關於IST的信息：

2019-10-17T06:37:00.517675Z 1 [Note] WSREP: Assign initial position for certification: 758430, protocol version: 4
2019-10-17T06:37:00.517777Z 0 [Note] WSREP: Service thread queue flushed.
2019-10-17T06:37:00.961803Z 0 [Note] WSREP: Member 2.0 (node3) requested state transfer from '*any*'. Selected 1.0 (node2)(SYNCED) as donor.
2019-10-17T06:37:01.223935Z 0 [Note] WSREP: 1.0 (node2): State transfer to 2.0 (node3) complete.
2019-10-17T06:37:01.224331Z 0 [Note] WSREP: Member 1.0 (node2) synced with group.
2019-10-17T06:37:02.301018Z 0 [Note] WSREP: (4ce6e1a5, 'tcp://0.0.0.0:4567') turning message relay requesting off
2019-10-17T06:38:14.740957Z 0 [Note] WSREP: 2.0 (node3): State transfer from 1.0 (node2) complete.
2019-10-17T06:39:31.183193Z 0 [Note] WSREP: Member 2.0 (node3) synced with group.

可以看到，系統選擇node2作爲捐贈者，它的/var/log/mysqld.log文件中有以下關於IST的信息：

2019-10-17T06:37:00.991588Z 0 [Note] WSREP: Shifting SYNCED -> DONOR/DESYNCED (TO: 758624)
2019-10-17T06:37:01.045666Z 2 [Note] WSREP: IST request: 650c3acb-eff8-11e9-9905-c73959fd46ca:743544-758430|tcp://172.16.1.127:4568
2019-10-17T06:37:01.045701Z 2 [Note] WSREP: wsrep_notify_cmd is not defined, skipping notification.
2019-10-17T06:37:01.045885Z 0 [Note] WSREP: Running: 'wsrep_sst_xtrabackup --role 'donor' --address '172.16.1.127:4444/xtrabackup_sst' --socket '/var/lib/mysql/mysql.sock' --datadir '/var/lib/mysql/' --defaults-file '/etc/my.cnf' --defaults-group-suffix ''   '' --gtid '650c3acb-eff8-11e9-9905-c73959fd46ca:743544' --bypass'
2019-10-17T06:37:01.046440Z 2 [Note] WSREP: sst_donor_thread signaled with 0
2019-10-17T06:37:01.048205Z 0 [Note] WSREP: async IST sender starting to serve tcp://172.16.1.127:4568 sending 743545-758430

顯示由hdp3向hdp4發送743545-758430之間的寫集。

可以在hdp4的/var/log/mysqld.log文件中找到node3的IST增量同步和狀態變化過程：

2019-10-17T06:37:01.445113Z 0 [Note] WSREP: Signalling provider to continue.
2019-10-17T06:37:01.445151Z 0 [Note] WSREP: Initialized wsrep sidno 2
2019-10-17T06:37:01.445185Z 0 [Note] WSREP: SST received: 650c3acb-eff8-11e9-9905-c73959fd46ca:743544
2019-10-17T06:37:01.445588Z 0 [Note] /usr/sbin/mysqld: ready for connections.
Version: '5.7.27'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  MySQL Community Server - (GPL), wsrep_25.19
2019-10-17T06:37:01.446278Z 2 [Note] WSREP: Receiving IST: 14886 writesets, seqnos 743544-758430
2019-10-17T06:37:01.446519Z 0 [Note] WSREP: Receiving IST...  0.0% (    0/14886 events) complete.
2019-10-17T06:37:02.539991Z 0 [Note] WSREP: (852308ca, 'tcp://0.0.0.0:4567') turning message relay requesting off
2019-10-17T06:37:11.453604Z 0 [Note] WSREP: Receiving IST... 11.1% ( 1648/14886 events) complete.
2019-10-17T06:37:21.485718Z 0 [Note] WSREP: Receiving IST... 23.5% ( 3504/14886 events) complete.
2019-10-17T06:37:31.686873Z 0 [Note] WSREP: Receiving IST... 37.8% ( 5632/14886 events) complete.
2019-10-17T06:37:31.751232Z 24 [Note] Got an error writing communication packets
2019-10-17T06:37:41.721891Z 0 [Note] WSREP: Receiving IST... 56.2% ( 8368/14886 events) complete.
2019-10-17T06:37:51.733818Z 0 [Note] WSREP: Receiving IST... 67.3% (10016/14886 events) complete.
2019-10-17T06:37:54.160644Z 39 [Note] Got an error writing communication packets
2019-10-17T06:38:01.739171Z 0 [Note] WSREP: Receiving IST... 80.0% (11904/14886 events) complete.
2019-10-17T06:38:03.165189Z 45 [Note] Got an error reading communication packets
2019-10-17T06:38:11.778534Z 0 [Note] WSREP: Receiving IST... 94.9% (14128/14886 events) complete.
2019-10-17T06:38:14.765552Z 0 [Note] WSREP: Receiving IST...100.0% (14886/14886 events) complete.
2019-10-17T06:38:14.765871Z 2 [Note] WSREP: IST received: 650c3acb-eff8-11e9-9905-c73959fd46ca:758430
2019-10-17T06:38:14.766840Z 0 [Note] WSREP: 2.0 (node3): State transfer from 1.0 (node2) complete.
2019-10-17T06:38:14.766873Z 0 [Note] WSREP: Shifting JOINER -> JOINED (TO: 777023)
2019-10-17T06:39:31.208799Z 0 [Note] WSREP: Member 2.0 (node3) synced with group.
2019-10-17T06:39:31.208825Z 0 [Note] WSREP: Shifting JOINED -> SYNCED (TO: 777023)
2019-10-17T06:39:31.241137Z 2 [Note] WSREP: Synchronized with group, ready for connections
2019-10-17T06:39:31.241155Z 2 [Note] WSREP: wsrep_notify_cmd is not defined, skipping notification.

參考：

How to Avoid SST When Adding a New Node to MySQL Galera Cluster

Galera Cluster for MySQL 詳解（二）——安裝配置

一、Galera集羣實驗環境

二、初始安裝

1. 安裝galera-3、mysql-wsrep-5.7、Percona-XtraBackup-2.4.15

2. 修改配置文件

3. 初始化集羣

4. 啓動集羣其它節點的mysqld服務

5. 驗證安裝

6. 問題排查

三、使用SST增加節點

四、使用IST增加節點

1. 設置gcache.size

2. IST測試

參考：

SQL優化-20231016

Galera Cluster for MySQL 詳解（五）——負載均衡

定期全備redis

重疊時間段問題優化算法詳解

CDH 6.3.1整合Zeppelin 0.8.2

redis手工分片

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結