搭建MySQL主从半同步复制的MHA高可用集群

需求说明

1、首先实现一主两从的同步复制功能（采用半同步复制机制）

2、然后采用MHA实现主机出现故障，从库能自动切换功能。

3、MHA高可用搭建后，在主库新建商品表进行效果测试

MHA介绍

　　MHA（Master HA）是一款开源的 MySQL 的高可用程序，它为 MySQL 主从复制架构提供了 automating master failover 功能。MHA 在监控到 master 节点故障时，会提升其中拥有最新数据的 slave 节点成为新的master 节点，在此期间，MHA 会通过于其它从节点获取额外信息来避免一致性方面的问题。MHA 还提供了 master 节点的在线切换功能，即按需切换 master/slave 节点。 　　MHA 是由日本人 yoshinorim（原就职于DeNA现就职于FaceBook）开发的比较成熟的 MySQL 高可用方案。MHA 能够在30秒内实现故障切换，并能在故障切换中，最大可能的保证数据一致性。目前淘宝也正在开发相似产品 TMHA， 目前已支持一主一从。

服务角色

　　MHA 服务有两种角色， MHA Manager(管理节点)和 MHA Node(数据节点)： MHA Manager：通常单独部署在一台独立机器上管理多个 master/slave 集群(组)，每个 master/slave 集群称作一个 application，用来管理统筹整个集群。 MHA node：运行在每台 MySQL 服务器上(master/slave/manager)，它通过监控具备解析和清理 logs 功能的脚本来加快故障转移。主要是接收管理节点所发出指令的代理，代理需要运行在每一个 mysql 节点上。简单讲 node 就是用来收集从节点服务器上所生成的 bin-log 。对比打算提升为新的主节点之上的从节点的是否拥有并完成操作，如果没有发给新主节点在本地应用后提升为主节点。

　　由上图我们可以看出，每个复制组内部和 Manager 之间都需要ssh实现无密码互连，只有这样，在 Master 出故障时， Manager 才能顺利的连接进去，实现主从切换功能。

提供的工具

　　MHA会提供诸多工具程序， 其常见的如下所示：

Manager节点：

　　masterha_check_ssh：MHA 依赖的 ssh 环境监测工具；

　　masterha_check_repl：MYSQL 复制环境检测工具；

　　masterga_manager：MHA 服务主程序；

　　masterha_check_status：MHA 运行状态探测工具；

　　masterha_master_monitor：MYSQL master 节点可用性监测工具；

　　masterha_master_swith:master：节点切换工具；

　　masterha_conf_host：添加或删除配置的节点；

　　masterha_stop：关闭 MHA 服务的工具。

Node节点：（这些工具通常由MHA Manager的脚本触发，无需人为操作）

　　save_binary_logs：保存和复制 master 的二进制日志；

　　apply_diff_relay_logs：识别差异的中继日志事件并应用于其他 slave；

　　purge_relay_logs：清除中继日志（不会阻塞 SQL 线程）；

　　自定义扩展：

　　secondary_check_script：通过多条网络路由检测master的可用性；

　　master_ip_failover_script：更新application使用的masterip；

　　report_script：发送报告;

　　init_conf_load_script：加载初始配置参数；

　　master_ip_online_change_script;更新master节点ip地址。

工作原理

MHA工作原理总结为以下几条：

（1） 从宕机崩溃的 master 保存二进制日志事件（binlog events）；

（2） 识别含有最新更新的 slave ；

（3） 应用差异的中继日志(relay log) 到其他 slave ；

（4） 应用从 master 保存的二进制日志事件(binlog events)；

（5） 提升一个 slave 为新 master ；

（6） 使用其他的 slave 连接新的 master 进行复制。

 

以下是安装验证过程

一、基础环境准备：安装MySQL、关闭防火墙等。

1、查看mariadb进程，并移除mariadb（安装镜像各有不同，仅作为参考）

[root@192 ~]# rpm -qa | grep mariadb
mariadb-libs-5.5.41-2.el7_0.x86_64
[root@192 ~]# rpm -e mariadb-libs-5.5.41-2.el7_0.x86_64 --nodeps

2、将MySQL安装包传到虚拟机中，解压并安装

[root@192 ~]# cd /home/fanxuebo/Downloads/
[root@192 Downloads]# ll
total 595272
-rw-r--r--. 1 root root 609556480 Jun  6 23:35 mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
[root@192 Downloads]# tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
mysql-community-embedded-5.7.28-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
mysql-community-devel-5.7.28-1.el7.x86_64.rpm
mysql-community-embedded-compat-5.7.28-1.el7.x86_64.rpm
mysql-community-libs-5.7.28-1.el7.x86_64.rpm
mysql-community-test-5.7.28-1.el7.x86_64.rpm
mysql-community-common-5.7.28-1.el7.x86_64.rpm
mysql-community-embedded-devel-5.7.28-1.el7.x86_64.rpm
mysql-community-client-5.7.28-1.el7.x86_64.rpm
mysql-community-server-5.7.28-1.el7.x86_64.rpm

[root@192 Downloads]# rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-common-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-common-5.7.28-1.e################################# [100%]
[root@192 Downloads]# rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-libs-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-libs-5.7.28-1.el7################################# [100%]
[root@192 Downloads]# rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-libs-compat-5.7.2################################# [100%]
[root@192 Downloads]# rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-client-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-client-5.7.28-1.e################################# [100%]
[root@192 Downloads]# rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-server-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-server-5.7.28-1.e################################# [100%]
[root@192 Downloads]# rpm -ivh mysql-community-devel-5.7.28-1.el7.x86_64.rpm
warning: mysql-community-devel-5.7.28-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-devel-5.7.28-1.el################################# [100%]

3、初始化MySQL

[root@192 Downloads]# mysqld --initialize --user=mysql

4、查看日志文件中的初始密码

[root@192 Downloads]# cat /var/log/mysqld.log
2020-06-07T06:39:17.420959Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2020-06-07T06:39:17.720225Z 0 [Warning] InnoDB: New log files created, LSN=45790
2020-06-07T06:39:17.775917Z 0 [Warning] InnoDB: Creating foreign key constraint system tables.
2020-06-07T06:39:17.849172Z 0 [Warning] No existing UUID has been found, so we assume that this is the first time that this server has been started. Generating a new UUID: 9c89ea86-a889-11ea-b80b-000c296081e0.
2020-06-07T06:39:17.863713Z 0 [Warning] Gtid table is not ready to be used. Table 'mysql.gtid_executed' cannot be opened.
2020-06-07T06:39:18.832511Z 0 [Warning] CA certificate ca.pem is self signed.
2020-06-07T06:39:19.387287Z 1 [Note] A temporary password is generated for root@localhost: evs>cHu4k/Wh

5、启动MySQL服务

[root@192 Downloads]# systemctl start mysqld.service

6、使用初始密码登陆MySQL

[root@192 Downloads]# mysql -uroot -p
Enter password:

7、修改MySQL密码为root，并重新登陆验证新密码

mysql> set password=password('root');
Query OK, 0 rows affected, 1 warning (0.05 sec)
​
mysql> exit;
Bye
[root@192 Downloads]# mysql -uroot -p
Enter password:
​
mysql> exit;
Bye

8、关闭防火墙和关闭开机自启动防火墙

[root@192 Downloads]# systemctl stop iptables;
Failed to issue method call: Unit iptables.service not loaded.
[root@192 Downloads]# systemctl stop firewalld;
[root@192 Downloads]# systemctl disable firewalld.service;
rm '/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service'
rm '/etc/systemd/system/basic.target.wants/firewalld.service'
[root@192 Downloads]#

二、主从模式环境配置

主服务器配置

1、修改my.cnf文件，添加配置信息

[root@192 ~]# vim /etc/my.cnf
    [mysqld]
    server-id = 1
    log-bin = mysql-log-bin
    sync-binlog = 1
    binlog-ignore-db = performance_schema
    binlog-ignore-db = information_schema
    binlog-ignore-db = sys
#   binlog-do-db = 要同步的库
​
[root@192 ~]# systemctl restart mysqld

2、登录授权

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> grant replication slave on *.* to 'root'@'%' identified by 'root';
mysql> grant all privileges on *.* to 'root'@'%' identified by 'root';
mysql> flush privileges;
mysql> show master status;

从服务器配置

1、修改my.cnf文件，添加配置信息

[root@192 ~]# vim /etc/my.cnf
    [mysqld]
    server-id = 2
    relay_log = mysql-relay-log
    read_only = 1
    
    [mysqld]
    server-id = 3
    relay_log = mysql-relay-log
    read_only = 1
​
[root@192 ~]# systemctl restart mysqld

2、登录授权（master_log_file='',master_log_pos=;的值在主服务器show master status;可以看到）

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> change master to master_host='192.168.186.128',master_port=3306,master_user='root',master_password='root',master_log_file='',master_log_pos=;
​
mysql> start slave;
mysql> show slave status \G;

3、环境验证，在主服务器新建数据库，在从服务器查看，移步视频观看。

半同步复制模式配置

1、安装插件并查看配置信息-主服务器

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> install plugin rpl_semi_sync_master soname 'semisync_master.so';

mysql> show variables like '%semi%';
+-------------------------------------------+------------+
| Variable_name                             | Value      |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled              | OFF        |
| rpl_semi_sync_master_timeout              | 10000      |
| rpl_semi_sync_master_trace_level          | 32         |
| rpl_semi_sync_master_wait_for_slave_count | 1          |
| rpl_semi_sync_master_wait_no_slave        | ON         |
| rpl_semi_sync_master_wait_point           | AFTER_SYNC |
+-------------------------------------------+------------+
6 rows in set (0.01 sec)

2、修改配置信息（开启半同步复制功能和同步时间）-主服务器

mysql> set global rpl_semi_sync_master_enabled=1;
Query OK, 0 rows affected (0.00 sec)
​
mysql> set global rpl_semi_sync_master_timeout=1000;
Query OK, 0 rows affected (0.00 sec)

3、安装插件并查看配置信息-从服务器

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> install plugin rpl_semi_sync_slave soname 'semisync_slave.so';

mysql> show variables like '%semi%';
+---------------------------------+-------+
| Variable_name                   | Value |
+---------------------------------+-------+
| rpl_semi_sync_slave_enabled     | OFF   |
| rpl_semi_sync_slave_trace_level | 32    |
+---------------------------------+-------+
2 rows in set (0.00 sec)

4、修改配置信息（开启半同步复制功能和同步时间）-从服务器

mysql> set global rpl_semi_sync_slave_enabled=1;
Query OK, 0 rows affected (0.00 sec)

三、MHA架构配置

1、相关配置说明

MHA 对 MYSQL 复制环境有特殊要求，例如各节点都要开启二进制日志及中继日志，各从节点必须显示启用其read-only属性，并关闭relay_log_purge功能等，这里对配置做事先说明。 　　本实验环境共有四个节点， 其角色分配如下（实验机器均为centos 7.3）：

机器名称	IP配置	服务角色	备注
master	192.168.186.128	数据库主服务器	开启bin_log、relay_log 关闭relay_log_pure
slave1	192.168.186.132	数据库从服务器	开启bin_log、relay_log 关闭relay_log_pure
slave2	192.168.186.133	数据库从服务器	开启bin_log、relay_log 关闭relay_log_pure
mha-monitor	192.168.186.134	Manager控制器	用于监控管理

　　为了方便我们后期的操作，我们在各节点的/etc/hosts文件配置内容中添加如下内容：

192.168.186.128 node1.ki.com node1
192.168.186.132 node2.ki.com node2
192.168.186.133 node3.ki.com node3
192.168.186.134 node4.ki.com node4

这样的话，我们就可以通过 host 解析节点来打通私钥访问，会方便很多。

2、初始主节点 master 的配置

　　我们需要修改 master 的数据库配置文件来对其进行初始化配置：

[root@192 ~]# vim /etc/my.cnf
    [mysqld]
    server-id = 1
    log-bin = mysql-log-bin
    sync-binlog = 1
    binlog-ignore-db = performance_schema
    binlog-ignore-db = information_schema
    binlog-ignore-db = sys
#   binlog-do-db = 要同步的库
​
#本次追加的配置，开启中继日志
    relay-log = relay-log
[root@master ~]# systemctl restart mysqld

3、所有 slave 节点依赖的配置

　　我们修改两个 slave 的数据库配置文件，两台机器都做如下操作：

[root@192 ~]# vim /etc/my.cnf
    [mysqld]
    server-id = 2
    relay_log = mysql-relay-log
    read_only = 1
​
#本次追加的配置，开启开启二进制日志
    log-bin = mysql-log-bin
#是否自动清空不再需要中继日志
    relay_log_purge = 0
#使得更新的数据写进二进制日志中
    log_slave_updates = 1
​
[root@192 ~]# systemctl restart mysqld

4、配置一主多从复制架构

master 节点上：

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> grant replication slave,replication client on *.* to 'slave'@'192.168.%.%' identified by 'ki';
mysql> show master status;

slave 节点上：

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> change master to master_host='192.168.186.128',master_user='slave',master_password='keer',master_log_file='',master_log_pos=;
mysql> start slave;
mysql> show slave status \G;

5、安装配置MHA

1、在 master 上进行授权

　　在所有 Mysql 节点授权拥有管理权限的用户可在本地网络中有其他节点上远程访问。 当然， 此时仅需要且只能在 master 节点运行类似如下 SQL 语句即可。

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> grant all on *.* to 'mhaadmin'@'192.168.%.%' identified by 'mhapass';

2、准备 ssh 互通环境

　　MHA集群中的各节点彼此之间均需要基于ssh互信通信，以实现远程控制及数据管理功能。简单起见，可在Manager节点生成密钥对儿，并设置其可远程连接本地主机后， 将私钥文件及authorized_keys文件复制给余下的所有节点即可。 　　下面操作在所有节点上操作：

[root@192 ~]# ssh-keygen -t rsa
[root@192 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node1

　　当四台机器都进行了上述操作以后，我们可以在 manager 机器上看到如下文件：

[root@192 ~]# cd .ssh/
[root@192 .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[root@192 .ssh]# cat authorized_keys 

　　四台机器的公钥都已经在authorized_keys这个文件中了，接着，我们只需要把这个文件发送至另外三台机器，这四台机器就可以实现 ssh 无密码互通了：

[root@192 .ssh]# scp authorized_keys root@node2:~/.ssh/
[root@192 .ssh]# scp authorized_keys root@node3:~/.ssh/
[root@192 .ssh]# scp authorized_keys root@node4:~/.ssh/

　　当然，我们也可以在机器上实验一下，看看 ssh 是否还需要输入密码。

3、安装 MHA 包

　　在本步骤中， Manager节点需要另外多安装一个包。具体需要安装的内容如下：

四个节点都需安装：mha4mysql-node-0.56-0.el6.norch.rpm

Manager 节点另需要安装：mha4mysql-manager-0.56-0.el6.noarch.rpm

[root@192 ~]# cd /home/fanxuebo/Downloads/
​
[root@192 Downloads]# yum install -y mha4mysql-node-0.56-0.el6.noarch.rpm 
[root@192 Downloads]# yum install -y mha4mysql-manager-0.56-0.el6.noarch.rpm 

　　其余机器也分别进行安装，就不一一举例了。

4、初始化 MHA ，进行配置

　　Manager 节点需要为每个监控的 master/slave 集群提供一个专用的配置文件，而所有的 master/slave 集群也可共享全局配置。全局配置文件默认为/etc/masterha_default.cnf，其为可选配置。如果仅监控一组 master/slave 集群，也可直接通过 application 的配置来提供各服务器的默认配置信息。而每个 application 的配置文件路径为自定义。具体操作见下一步骤。

3.2.5 定义 MHA 管理配置文件

　　为MHA专门创建一个管理用户， 方便以后使用， 在mysql的主节点上， 三个节点自动同步：

    mkdir /etc/mha_master
    vim /etc/mha_master/mha.cnf

　　配置文件内容如下；

[server default]            //适用于server1,2,3个server的配置
user=mhaadmin               //mha管理用户
password=mhapass            //mha管理密码
manager_workdir=/etc/mha_master/app1        //mha_master自己的工作路径
manager_log=/etc/mha_master/manager.log     // mha_master自己的日志文件
remote_workdir=/mydata/mha_master/app1      //每个远程主机的工作目录在何处
ssh_user=root               // 基于ssh的密钥认证
repl_user=slave             //数据库用户名
repl_password=magedu        //数据库密码
ping_interval=1             //ping间隔时长
[server1]                   //节点2
hostname=192.168.37.133     //节点2主机地址
ssh_port=22                 //节点2的ssh端口
candidate_master=1          //将来可不可以成为master候选节点/主节点
[server2]
hostname=192.168.37.133
ssh_port=22
candidate_master=1
[server3]
hostname=192.168.37.144
ssh_port=22
candidate_master=1

3.2.6 对四个节点进行检测

1）检测各节点间 ssh 互信通信配置是否 ok 　　我们在 Manager 机器上输入下述命令来检测：

[root@192 ~]# masterha_check_ssh -conf=/etc/mha_master/mha.cnf

　　如果最后一行显示为[info]All SSH connection tests passed successfully.则表示成功。

2）检查管理的MySQL复制集群的连接配置参数是否OK

[root@192 ~]# masterha_check_repl -conf=/etc/mha_master/mha.cnf

　　我们发现检测失败，这可能是因为从节点上没有账号，因为这个架构，任何一个从节点， 将有可能成为主节点， 所以也需要创建账号。

　　因此，我们需要在master节点上再次执行以下操作：

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> grant replication slave,replication client on *.* to 'slave'@'192.168.%.%' identified by 'keer';
mysql> flush privileges;

　　执行完这段操作之后，我们再次运行检测命令：

[root@192 ~]# masterha_check_repl -conf=/etc/mha_master/mha.cnf
Thu Nov 23 09:07:08 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Thu Nov 23 09:07:08 2017 - [info] Reading application default configuration from /etc/mha_master/mha.cnf..
Thu Nov 23 09:07:08 2017 - [info] Reading server configuration from /etc/mha_master/mha.cnf..
……
MySQL Replication Health is OK.

　　可以看出，我们的检测已经ok了。 　　此步骤完成。

5、启动 MHA

　　我们在 manager 节点上执行以下命令来启动 MHA：

[root@192 ~]# nohup masterha_manager -conf=/etc/mha_master/mha.cnf &> /etc/mha_master/manager.log &
[1] 7598

　　启动成功以后，我们来查看一下 master 节点的状态：

[root@192 ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
mha (pid:7598) is running(0:PING_OK), master:192.168.37.122

　　上面的信息中“mha (pid:7598) is running(0:PING_OK)”表示MHA服务运行OK，否则， 则会显示为类似“mha is stopped(1:NOT_RUNNING).” 　　如果，我们想要停止 MHA ，则需要使用 stop 命令：

[root@192 ~]# masterha_stop -conf=/etc/mha_master/mha.cnf

6、测试 MHA 故障转移

6.1、在 master 节点关闭 mysqld 服务,模拟主节点数据崩溃

[root@192 ~]# killall -9 mysqld mysqld_safe
[root@192 ~]# rm -rf /var/lib/mysql/*

3.4.2 在 manger 节点查看日志

　　我们来查看日志：

[root@192 ~]# tail -200 /etc/mha_master/manager.log 
……
Thu Nov 23 09:17:19 2017 - [info] Master failover to 192.168.37.133(192.168.37.133:3306) completed successfully.

　　表示 manager 检测到192.168.37.122节点故障， 而后自动执行故障转移， 将192.168.37.133提升为主节点。 　　注意，故障转移完成后， manager将会自动停止， 此时使用 masterha_check_status 命令检测将会遇到错误提示， 如下所示：

[root@192 ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
mha is stopped(2:NOT_RUNNING).

3.5 提供新的从节点以修复复制集群

　　原有 master 节点故障后，需要重新准备好一个新的 MySQL 节点。基于来自于master 节点的备份恢复数据后，将其配置为新的 master 的从节点即可。注意，新加入的节点如果为新增节点，其 IP 地址要配置为原来 master 节点的 IP，否则，还需要修改 mha.cnf 中相应的 ip 地址。随后再次启动 manager ，并再次检测其状态。 　　我们就以刚刚关闭的那台主作为新添加的机器，来进行数据库的恢复： 　　原本的 slave1 已经成为了新的主机器，所以，我们对其进行完全备份，而后把备份的数据发送到我们新添加的机器上：

[root@slave1 ~]# mkdir /backup
[root@slave1 ~]# mysqldump --all-database > /backup/mysql-backup-`date +%F-%T`-all.sql
[root@slave1 ~]# scp /backup/mysql-backup-2017-11-23-09\:57\:09-all.sql root@node2:~

　　然后在 node2 节点上进行数据恢复：

[root@master ~]# mysql < mysql-backup-2017-11-23-09\:57\:09-all.sql

　　接下来就是配置主从。照例查看一下现在的主的二进制日志和位置，然后就进行如下设置：

[root@192 ~]# mysql -uroot -p
Enter password:
​
mysql> change master to master_host='192.168.37.133',  master_user='slave',  master_password='keer', master_log_file='mysql-bin.000006', master_log_pos=925;
mysql> start slave;
mysql> show slave status\G;
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.37.133
                  Master_User: slave
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000006
          Read_Master_Log_Pos: 925
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 529
        Relay_Master_Log_File: mysql-bin.000006
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
                            ……                          

　　可以看出，我们的主从已经配置好了。 　　本步骤完成。

6.4、 新节点提供后再次执行检查操作

　　我们来再次检测状态：

[root@manager ~]# masterha_check_repl -conf=/etc/mha_master/mha.cnf

　　如果报错，则再次授权（详见上文）。若没有问题，则启动 manager，注意，这次启动要记录日志：

[root@manager ~]# masterha_manager -conf=/etc/mha_master/mha.cnf > /etc/mha_master/manager.log 2>&1 &
[1] 10012

　　启动成功以后，我们来查看一下 master 节点的状态：

[root@manager ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
mha (pid:9561) is running(0:PING_OK), master:192.168.37.133

　　我们的服务已经成功继续了。 　　本步骤结束。

3.7新节点上线， 故障转换恢复注意事项

　　1）在生产环境中， 当你的主节点挂了后， 一定要在从节点上做一个备份， 拿着备份文件把主节点手动提升为从节点， 并指明从哪一个日志文件的位置开始复制 　　2）每一次自动完成转换后， 每一次的(replication health )检测不ok始终都是启动不了必须手动修复主节点， 除非你改配置文件 　　3）手动修复主节点提升为从节点后， 再次运行检测命令

[root@manager ~]# masterha_check_status -conf=/etc/mha_master/mha.cnf
mha (pid:9561) is running(0:PING_OK), master:192.168.37.133

　　4）再次运行起来就恢复成功了

[root@manager ~]# masterha_manager --conf=/etc/mha_master/mha.cnf

---

　　以上。我们的实验已经圆满完成。