搭建MySQL主從半同步複製的MHA高可用集羣

需求說明

1、首先實現一主兩從的同步複製功能（採用半同步複製機制）

2、然後採用MHA實現主機出現故障，從庫能自動切換功能。

3、MHA高可用搭建後，在主庫新建商品表進行效果測試

MHA介紹

　　MHA（Master HA）是一款開源的 MySQL 的高可用程序，它爲 MySQL 主從複製架構提供了 automating master failover 功能。MHA 在監控到 master 節點故障時，會提升其中擁有最新數據的 slave 節點成爲新的master 節點，在此期間，MHA 會通過於其它從節點獲取額外信息來避免一致性方面的問題。MHA 還提供了 master 節點的在線切換功能，即按需切換 master/slave 節點。 　　MHA 是由日本人 yoshinorim（原就職於DeNA現就職於FaceBook）開發的比較成熟的 MySQL 高可用方案。MHA 能夠在30秒內實現故障切換，並能在故障切換中，最大可能的保證數據一致性。目前淘寶也正在開發相似產品 TMHA， 目前已支持一主一從。

服務角色

　　MHA 服務有兩種角色， MHA Manager(管理節點)和 MHA Node(數據節點)： MHA Manager：通常單獨部署在一臺獨立機器上管理多個 master/slave 集羣(組)，每個 master/slave 集羣稱作一個 application，用來管理統籌整個集羣。 MHA node：運行在每臺 MySQL 服務器上(master/slave/manager)，它通過監控具備解析和清理 logs 功能的腳本來加快故障轉移。主要是接收管理節點所發出指令的代理，代理需要運行在每一個 mysql 節點上。簡單講 node 就是用來收集從節點服務器上所生成的 bin-log 。對比打算提升爲新的主節點之上的從節點的是否擁有並完成操作，如果沒有發給新主節點在本地應用後提升爲主節點。

　　由上圖我們可以看出，每個複製組內部和 Manager 之間都需要ssh實現無密碼互連，只有這樣，在 Master 出故障時， Manager 才能順利的連接進去，實現主從切換功能。

提供的工具

　　MHA會提供諸多工具程序， 其常見的如下所示：

Manager節點：

　　masterha_check_ssh：MHA 依賴的 ssh 環境監測工具；

　　masterha_check_repl：MYSQL 複製環境檢測工具；

　　masterga_manager：MHA 服務主程序；

　　masterha_check_status：MHA 運行狀態探測工具；

　　masterha_master_monitor：MYSQL master 節點可用性監測工具；

　　masterha_master_swith:master：節點切換工具；

　　masterha_conf_host：添加或刪除配置的節點；

　　masterha_stop：關閉 MHA 服務的工具。

Node節點：（這些工具通常由MHA Manager的腳本觸發，無需人爲操作）

　　save_binary_logs：保存和複製 master 的二進制日誌；

　　apply_diff_relay_logs：識別差異的中繼日誌事件並應用於其他 slave；

　　purge_relay_logs：清除中繼日誌（不會阻塞 SQL 線程）；

　　自定義擴展：

　　secondary_check_script：通過多條網絡路由檢測master的可用性；

　　master_ip_failover_script：更新application使用的masterip；

　　report_script：發送報告;

　　init_conf_load_script：加載初始配置參數；

　　master_ip_online_change_script;更新master節點ip地址。

工作原理

MHA工作原理總結爲以下幾條：

（1） 從宕機崩潰的 master 保存二進制日誌事件（binlog events）；

（2） 識別含有最新更新的 slave ；

（3） 應用差異的中繼日誌(relay log) 到其他 slave ；

（4） 應用從 master 保存的二進制日誌事件(binlog events)；

（5） 提升一個 slave 爲新 master ；

（6） 使用其他的 slave 連接新的 master 進行復制。

 

以下是安裝驗證過程

一、基礎環境準備：安裝MySQL、關閉防火牆等。

1、查看mariadb進程，並移除mariadb（安裝鏡像各有不同，僅作爲參考）

[root@192 ~]# rpm -qa | grep mariadb
mariadb-libs-5.5.41-2.el7_0.x86_64
[root@192 ~]# rpm -e mariadb-libs-5.5.41-2.el7_0.x86_64 --nodeps

2、將MySQL安裝包傳到虛擬機中，解壓並安裝

[root@192 ~]# cd /home/fanxuebo/Downloads/
[root@192 Downloads]# ll
total 595272
-rw-r--r--. 1 root root 609556480 Jun  6 23:35 mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
[root@192 Downloads]# tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
mysql-community-embedded-5.7.28-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
mysql-community-devel-5.7.28-1.el7.x86_64.rpm
mysql-community-embedded-compat-5.7.28-1.el7.x86_64.rpm
mysql-community-libs-5.7.28-1.el7.x86_64.rpm
mysql-community-test-5.7.28-1.el7.x86_64.rpm
mysql-community-common-5.7.28-1.el7.x86_64.rpm
mysql-community-embedded-devel-5.7.28-1.el7.x86_64.rpm
mysql-community-client-5.7.28-1.el7.x86_64.rpm
mysql-community-server-5.7.28-1.el7.x86_64.rpm

[root@192 Downloads]# rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-common-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-common-5.7.28-1.e################################# [100%]
[root@192 Downloads]# rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-libs-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-libs-5.7.28-1.el7################################# [100%]
[root@192 Downloads]# rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-libs-compat-5.7.2################################# [100%]
[root@192 Downloads]# rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-client-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-client-5.7.28-1.e################################# [100%]
[root@192 Downloads]# rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-server-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-server-5.7.28-1.e################################# [100%]
[root@192 Downloads]# rpm -ivh mysql-community-devel-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-devel-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-devel-5.7.28-1.el################################# [100%]

3、初始化MySQL

[root@192 Downloads]# mysqld --initialize --user=mysql

4、查看日誌文件中的初始密碼

[root@192 Downloads]# cat /var/log/mysqld.log
2020-06-07T06:39:17.420959Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2020-06-07T06:39:17.720225Z 0 [Warning] InnoDB: New log files created, LSN=45790
2020-06-07T06:39:17.775917Z 0 [Warning] InnoDB: Creating foreign key constraint system tables.
2020-06-07T06:39:17.849172Z 0 [Warning] No existing UUID has been found, so we assume that this is the first time that this server has been started. Generating a new UUID: 9c89ea86-a889-11ea-b80b-000c296081e0.
2020-06-07T06:39:17.863713Z 0 [Warning] Gtid table is not ready to be used. Table 'mysql.gtid_executed' cannot be opened.
2020-06-07T06:39:18.832511Z 0 [Warning] CA certificate ca.pem is self signed.
2020-06-07T06:39:19.387287Z 1 [Note] A temporary password is generated for root@localhost: evs>cHu4k/Wh

5、啓動MySQL服務

[root@192 Downloads]# systemctl start mysqld.service

6、使用初始密碼登陸MySQL

[root@192 Downloads]# mysql -uroot -p
Enter password:

7、修改MySQL密碼爲root，並重新登陸驗證新密碼

mysql> set password=password('root');
Query OK, 0 rows affected, 1 warning (0.05 sec)
​
mysql> exit;
Bye
[root@192 Downloads]# mysql -uroot -p
Enter password:
​
mysql> exit;
Bye

8、關閉防火牆和關閉開機自啓動防火牆

[root@192 Downloads]# systemctl stop iptables;
Failed to issue method call: Unit iptables.service not loaded.
[root@192 Downloads]# systemctl stop firewalld;
[root@192 Downloads]# systemctl disable firewalld.service;
rm '/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service'
rm '/etc/systemd/system/basic.target.wants/firewalld.service'
[root@192 Downloads]#

二、主從模式環境配置

主服務器配置

1、修改my.cnf文件，添加配置信息

[root@192 ~]# vim /etc/my.cnf
    [mysqld]
    server-id = 1
    log-bin = mysql-log-bin
    sync-binlog = 1
    binlog-ignore-db = performance_schema
    binlog-ignore-db = information_schema
    binlog-ignore-db = sys
#   binlog-do-db = 要同步的庫
​
[root@192 ~]# systemctl restart mysqld

2、登錄授權

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> grant replication slave on *.* to 'root'@'%' identified by 'root';
mysql> grant all privileges on *.* to 'root'@'%' identified by 'root';
mysql> flush privileges;
mysql> show master status;

從服務器配置

1、修改my.cnf文件，添加配置信息

[root@192 ~]# vim /etc/my.cnf
    [mysqld]
    server-id = 2
    relay_log = mysql-relay-log
    read_only = 1
    
    [mysqld]
    server-id = 3
    relay_log = mysql-relay-log
    read_only = 1
​
[root@192 ~]# systemctl restart mysqld

2、登錄授權（master_log_file='',master_log_pos=;的值在主服務器show master status;可以看到）

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> change master to master_host='192.168.186.128',master_port=3306,master_user='root',master_password='root',master_log_file='',master_log_pos=;
​
mysql> start slave;
mysql> show slave status \G;

3、環境驗證，在主服務器新建數據庫，在從服務器查看，移步視頻觀看。

半同步複製模式配置

1、安裝插件並查看配置信息-主服務器

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> install plugin rpl_semi_sync_master soname 'semisync_master.so';

mysql> show variables like '%semi%';
+-------------------------------------------+------------+
| Variable_name                             | Value      |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled              | OFF        |
| rpl_semi_sync_master_timeout              | 10000      |
| rpl_semi_sync_master_trace_level          | 32         |
| rpl_semi_sync_master_wait_for_slave_count | 1          |
| rpl_semi_sync_master_wait_no_slave        | ON         |
| rpl_semi_sync_master_wait_point           | AFTER_SYNC |
+-------------------------------------------+------------+
6 rows in set (0.01 sec)

2、修改配置信息（開啓半同步複製功能和同步時間）-主服務器

mysql> set global rpl_semi_sync_master_enabled=1;
Query OK, 0 rows affected (0.00 sec)
​
mysql> set global rpl_semi_sync_master_timeout=1000;
Query OK, 0 rows affected (0.00 sec)

3、安裝插件並查看配置信息-從服務器

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> install plugin rpl_semi_sync_slave soname 'semisync_slave.so';

mysql> show variables like '%semi%';
+---------------------------------+-------+
| Variable_name                   | Value |
+---------------------------------+-------+
| rpl_semi_sync_slave_enabled     | OFF   |
| rpl_semi_sync_slave_trace_level | 32    |
+---------------------------------+-------+
2 rows in set (0.00 sec)

4、修改配置信息（開啓半同步複製功能和同步時間）-從服務器

mysql> set global rpl_semi_sync_slave_enabled=1;
Query OK, 0 rows affected (0.00 sec)

三、MHA架構配置

1、相關配置說明

MHA 對 MYSQL 複製環境有特殊要求，例如各節點都要開啓二進制日誌及中繼日誌，各從節點必須顯示啓用其read-only屬性，並關閉relay_log_purge功能等，這裏對配置做事先說明。 　　本實驗環境共有四個節點， 其角色分配如下（實驗機器均爲centos 7.3）：

機器名稱	IP配置	服務角色	備註
master	192.168.186.128	數據庫主服務器	開啓bin_log、relay_log 關閉relay_log_pure
slave1	192.168.186.132	數據庫從服務器	開啓bin_log、relay_log 關閉relay_log_pure
slave2	192.168.186.133	數據庫從服務器	開啓bin_log、relay_log 關閉relay_log_pure
mha-monitor	192.168.186.134	Manager控制器	用於監控管理

　　爲了方便我們後期的操作，我們在各節點的/etc/hosts文件配置內容中添加如下內容：

192.168.186.128 node1.ki.com node1
192.168.186.132 node2.ki.com node2
192.168.186.133 node3.ki.com node3
192.168.186.134 node4.ki.com node4

這樣的話，我們就可以通過 host 解析節點來打通私鑰訪問，會方便很多。

2、初始主節點 master 的配置

　　我們需要修改 master 的數據庫配置文件來對其進行初始化配置：

[root@192 ~]# vim /etc/my.cnf
    [mysqld]
    server-id = 1
    log-bin = mysql-log-bin
    sync-binlog = 1
    binlog-ignore-db = performance_schema
    binlog-ignore-db = information_schema
    binlog-ignore-db = sys
#   binlog-do-db = 要同步的庫
​
#本次追加的配置，開啓中繼日誌
    relay-log = relay-log
[root@master ~]# systemctl restart mysqld

3、所有 slave 節點依賴的配置

　　我們修改兩個 slave 的數據庫配置文件，兩臺機器都做如下操作：

[root@192 ~]# vim /etc/my.cnf
    [mysqld]
    server-id = 2
    relay_log = mysql-relay-log
    read_only = 1
​
#本次追加的配置，開啓開啓二進制日誌
    log-bin = mysql-log-bin
#是否自動清空不再需要中繼日誌
    relay_log_purge = 0
#使得更新的數據寫進二進制日誌中
    log_slave_updates = 1
​
[root@192 ~]# systemctl restart mysqld

4、配置一主多從複製架構

master 節點上：

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> grant replication slave,replication client on *.* to 'slave'@'192.168.%.%' identified by 'ki';
mysql> show master status;

slave 節點上：

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> change master to master_host='192.168.186.128',master_user='slave',master_password='keer',master_log_file='',master_log_pos=;
mysql> start slave;
mysql> show slave status \G;

5、安裝配置MHA

1、在 master 上進行授權

　　在所有 Mysql 節點授權擁有管理權限的用戶可在本地網絡中有其他節點上遠程訪問。 當然， 此時僅需要且只能在 master 節點運行類似如下 SQL 語句即可。

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> grant all on *.* to 'mhaadmin'@'192.168.%.%' identified by 'mhapass';

2、準備 ssh 互通環境

　　MHA集羣中的各節點彼此之間均需要基於ssh互信通信，以實現遠程控制及數據管理功能。簡單起見，可在Manager節點生成密鑰對兒，並設置其可遠程連接本地主機後， 將私鑰文件及authorized_keys文件複製給餘下的所有節點即可。 　　下面操作在所有節點上操作：

[root@192 ~]# ssh-keygen -t rsa
[root@192 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node1

　　當四臺機器都進行了上述操作以後，我們可以在 manager 機器上看到如下文件：

[root@192 ~]# cd .ssh/
[root@192 .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[root@192 .ssh]# cat authorized_keys 

　　四臺機器的公鑰都已經在authorized_keys這個文件中了，接着，我們只需要把這個文件發送至另外三臺機器，這四臺機器就可以實現 ssh 無密碼互通了：

[root@192 .ssh]# scp authorized_keys root@node2:~/.ssh/
[root@192 .ssh]# scp authorized_keys root@node3:~/.ssh/
[root@192 .ssh]# scp authorized_keys root@node4:~/.ssh/

　　當然，我們也可以在機器上實驗一下，看看 ssh 是否還需要輸入密碼。

3、安裝 MHA 包

　　在本步驟中， Manager節點需要另外多安裝一個包。具體需要安裝的內容如下：

四個節點都需安裝：mha4mysql-node-0.56-0.el6.norch.rpm

Manager 節點另需要安裝：mha4mysql-manager-0.56-0.el6.noarch.rpm

[root@192 ~]# cd /home/fanxuebo/Downloads/
​
[root@192 Downloads]# yum install -y mha4mysql-node-0.56-0.el6.noarch.rpm 
[root@192 Downloads]# yum install -y mha4mysql-manager-0.56-0.el6.noarch.rpm 

　　其餘機器也分別進行安裝，就不一一舉例了。

4、初始化 MHA ，進行配置

　　Manager 節點需要爲每個監控的 master/slave 集羣提供一個專用的配置文件，而所有的 master/slave 集羣也可共享全局配置。全局配置文件默認爲/etc/masterha_default.cnf，其爲可選配置。如果僅監控一組 master/slave 集羣，也可直接通過 application 的配置來提供各服務器的默認配置信息。而每個 application 的配置文件路徑爲自定義。具體操作見下一步驟。

3.2.5 定義 MHA 管理配置文件

　　爲MHA專門創建一個管理用戶， 方便以後使用， 在mysql的主節點上， 三個節點自動同步：

    mkdir /etc/mha_master
    vim /etc/mha_master/mha.cnf

　　配置文件內容如下；

[server default]            //適用於server1,2,3個server的配置
user=mhaadmin               //mha管理用戶
password=mhapass            //mha管理密碼
manager_workdir=/etc/mha_master/app1        //mha_master自己的工作路徑
manager_log=/etc/mha_master/manager.log     // mha_master自己的日誌文件
remote_workdir=/mydata/mha_master/app1      //每個遠程主機的工作目錄在何處
ssh_user=root               // 基於ssh的密鑰認證
repl_user=slave             //數據庫用戶名
repl_password=magedu        //數據庫密碼
ping_interval=1             //ping間隔時長
[server1]                   //節點2
hostname=192.168.37.133     //節點2主機地址
ssh_port=22                 //節點2的ssh端口
candidate_master=1          //將來可不可以成爲master候選節點/主節點
[server2]
hostname=192.168.37.133
ssh_port=22
candidate_master=1
[server3]
hostname=192.168.37.144
ssh_port=22
candidate_master=1

3.2.6 對四個節點進行檢測

1）檢測各節點間 ssh 互信通信配置是否 ok 　　我們在 Manager 機器上輸入下述命令來檢測：

[root@192 ~]# masterha_check_ssh -conf=/etc/mha_master/mha.cnf

　　如果最後一行顯示爲[info]All SSH connection tests passed successfully.則表示成功。

2）檢查管理的MySQL複製集羣的連接配置參數是否OK

[root@192 ~]# masterha_check_repl -conf=/etc/mha_master/mha.cnf

　　我們發現檢測失敗，這可能是因爲從節點上沒有賬號，因爲這個架構，任何一個從節點， 將有可能成爲主節點， 所以也需要創建賬號。

　　因此，我們需要在master節點上再次執行以下操作：

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> grant replication slave,replication client on *.* to 'slave'@'192.168.%.%' identified by 'keer';
mysql> flush privileges;

　　執行完這段操作之後，我們再次運行檢測命令：

[root@192 ~]# masterha_check_repl -conf=/etc/mha_master/mha.cnf
Thu Nov 23 09:07:08 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Thu Nov 23 09:07:08 2017 - [info] Reading application default configuration from /etc/mha_master/mha.cnf..
Thu Nov 23 09:07:08 2017 - [info] Reading server configuration from /etc/mha_master/mha.cnf..
……
MySQL Replication Health is OK.

　　可以看出，我們的檢測已經ok了。 　　此步驟完成。

5、啓動 MHA

　　我們在 manager 節點上執行以下命令來啓動 MHA：

[root@192 ~]# nohup masterha_manager -conf=/etc/mha_master/mha.cnf &> /etc/mha_master/manager.log &
[1] 7598

　　啓動成功以後，我們來查看一下 master 節點的狀態：

[root@192 ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
mha (pid:7598) is running(0:PING_OK), master:192.168.37.122

　　上面的信息中“mha (pid:7598) is running(0:PING_OK)”表示MHA服務運行OK，否則， 則會顯示爲類似“mha is stopped(1:NOT_RUNNING).” 　　如果，我們想要停止 MHA ，則需要使用 stop 命令：

[root@192 ~]# masterha_stop -conf=/etc/mha_master/mha.cnf

6、測試 MHA 故障轉移

6.1、在 master 節點關閉 mysqld 服務,模擬主節點數據崩潰

[root@192 ~]# killall -9 mysqld mysqld_safe
[root@192 ~]# rm -rf /var/lib/mysql/*

3.4.2 在 manger 節點查看日誌

　　我們來查看日誌：

[root@192 ~]# tail -200 /etc/mha_master/manager.log 
……
Thu Nov 23 09:17:19 2017 - [info] Master failover to 192.168.37.133(192.168.37.133:3306) completed successfully.

　　表示 manager 檢測到192.168.37.122節點故障， 而後自動執行故障轉移， 將192.168.37.133提升爲主節點。 　　注意，故障轉移完成後， manager將會自動停止， 此時使用 masterha_check_status 命令檢測將會遇到錯誤提示， 如下所示：

[root@192 ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
mha is stopped(2:NOT_RUNNING).

3.5 提供新的從節點以修復複製集羣

　　原有 master 節點故障後，需要重新準備好一個新的 MySQL 節點。基於來自於master 節點的備份恢復數據後，將其配置爲新的 master 的從節點即可。注意，新加入的節點如果爲新增節點，其 IP 地址要配置爲原來 master 節點的 IP，否則，還需要修改 mha.cnf 中相應的 ip 地址。隨後再次啓動 manager ，並再次檢測其狀態。 　　我們就以剛剛關閉的那臺主作爲新添加的機器，來進行數據庫的恢復： 　　原本的 slave1 已經成爲了新的主機器，所以，我們對其進行完全備份，而後把備份的數據發送到我們新添加的機器上：

[root@slave1 ~]# mkdir /backup
[root@slave1 ~]# mysqldump --all-database > /backup/mysql-backup-`date +%F-%T`-all.sql
[root@slave1 ~]# scp /backup/mysql-backup-2017-11-23-09\:57\:09-all.sql root@node2:~

　　然後在 node2 節點上進行數據恢復：

[root@master ~]# mysql < mysql-backup-2017-11-23-09\:57\:09-all.sql

　　接下來就是配置主從。照例查看一下現在的主的二進制日誌和位置，然後就進行如下設置：

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> change master to master_host='192.168.37.133',  master_user='slave',  master_password='keer', master_log_file='mysql-bin.000006', master_log_pos=925;
mysql> start slave;
mysql> show slave status\G;
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.37.133
                  Master_User: slave
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000006
          Read_Master_Log_Pos: 925
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 529
        Relay_Master_Log_File: mysql-bin.000006
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
                            ……                          

　　可以看出，我們的主從已經配置好了。 　　本步驟完成。

6.4、 新節點提供後再次執行檢查操作

　　我們來再次檢測狀態：

[root@manager ~]# masterha_check_repl -conf=/etc/mha_master/mha.cnf

　　如果報錯，則再次授權（詳見上文）。若沒有問題，則啓動 manager，注意，這次啓動要記錄日誌：

[root@manager ~]# masterha_manager -conf=/etc/mha_master/mha.cnf > /etc/mha_master/manager.log 2>&1 &
[1] 10012

　　啓動成功以後，我們來查看一下 master 節點的狀態：

[root@manager ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
mha (pid:9561) is running(0:PING_OK), master:192.168.37.133

　　我們的服務已經成功繼續了。 　　本步驟結束。

3.7新節點上線， 故障轉換恢復注意事項

　　1）在生產環境中， 當你的主節點掛了後， 一定要在從節點上做一個備份， 拿着備份文件把主節點手動提升爲從節點， 並指明從哪一個日誌文件的位置開始複製 　　2）每一次自動完成轉換後， 每一次的(replication health )檢測不ok始終都是啓動不了必須手動修復主節點， 除非你改配置文件 　　3）手動修復主節點提升爲從節點後， 再次運行檢測命令

[root@manager ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
mha (pid:9561) is running(0:PING_OK), master:192.168.37.133

　　4）再次運行起來就恢復成功了

[root@manager ~]# masterha_manager --conf=/etc/mha_master/mha.cnf

---

　　以上。我們的實驗已經圓滿完成。