MHA 高可用集羣詳解

一、什麼是MHA

• 傳統的主從複製如果主庫宕機，其餘從庫不會自動的代替主庫繼續工作，這樣就不能保證業務的高可用，而MHA就是一個mysql主從複製高可用的解決方案，當主庫宕機後，MHA能在1-30秒實現故障檢測和故障自動轉移，選擇一個最優的從庫作爲主庫，同時新的主庫還繼續與其他從庫保持數據一致的狀態

二、MHA架構組成

• 整個MAH架構由兩部分組成，即MHA Manager(管理節點)，和MHA Node(數據節點)，MHA Manager 可以獨立部署到一臺服務器上（含虛擬機）管理多個主從複製集羣，也可已部署到一臺主從複製從節點上或者其他應用程序上，而MHA Node 需要運行到每一臺mysql服務器上 MHA Manager服務器 會定時通過主庫上的MHA Node檢測主庫的運行狀態，當主庫出現故障時他可以將最優從庫（可以提前指定或者由MHA判定）提升爲新的主庫，然後其他從庫和新的主庫重新保持新的複製狀態

三、MHA工作原理

• 主庫實例掛掉但是ssh還能連接
  1、監控到主庫宕機，選擇一個新的主，被選擇的新主會取消從庫的角色（ reset slave）
  選擇標準：
  一是根據其他從庫的binlog日誌的位置選擇最新的從庫作爲新的主庫
  二是如果設置了半同步從庫，直接選擇半同從庫作爲新的主庫
  2、從庫通過MHA自帶的腳本程序，通過ssh向主庫索取缺失部分的binlog
  3、其他從庫與新的主庫從新構建主從，繼續提供服務
  4、如果由vip機制，將VIP從原來的主庫漂移到新的主庫，讓應用無感知
• 主節點服務器宕機（ssh已經連接不上了）
  1、監控到主機宕機後，嘗試ssh連接，連接失敗
  2、通過上邊所講的選擇標準選擇新的主庫
  3、計算從庫之間的relay-log的差異，補償到新的其他從庫
  4、其他從庫從新與新主構建主從關係，繼續提供服務
  5、如果由VIP機制，將VIP從原主漂移到新主，讓應用無感知
  6、如果有binlog server 機制，會繼續將binlog server中缺失的事物，補償到新的主庫

  四、MHA實現

1、三臺以上MySQL獨立節點實例，節點之間網絡正常通信，配置hosts解析
10.0.0.51 主
10.0.0.52 從
10.0.0.53 從 and manager
2、開啓GTID複製結構 （show slave status\G）
3、關閉各個結點relay-log自動刪除的功能 (show variables like '%relay%')
vim /etc/my.cnf
relay_log_purge=0
set global relay_log_purge=0;
4、主庫創建mha管理用戶
grant all privileges on . to mha@'10.0.0.%' identified by 'mha'; （會同步到其從節點）
5、配置軟連接（mha只能調用/usr/bin/下的命令）
ln -s /application/mysql/bin/mysqlbinlog /usr/bin/mysqlbinlog
ln -s /application/mysql/bin/mysql /usr/bin/mysql
6、各節點部署node工具包及依賴包
安裝依賴包rpm -ivh perl-DBD-MySQL
安裝node節點：rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm（所有實例都要安裝）
7、選擇其中一個從節點進行部署manager工具包
安裝依賴：yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
安裝manager節點： rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm
8、在manager上創建配置mah必須要有的工作目錄和文件
mkdir -p /etc/mha
mkdir -p /var/log/mha/app1 （可以管理多套主從複製）
創建配置文件 (不需要的配置不要留着，註釋沒用,切換後會重寫)
vim /etc/mha/app1.cnf （serverdefault可以獨立）
[server default]
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/data/binlog
user=mha
password=mha
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root

[server1]
hostname=10.0.0.51
port=3306

[server2]
hostname=10.0.0.52
port=3306

[server3]
hostname=10.0.0.53
port=3306

9、各節點ssh祕鑰互信配置

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa >/dev/null 2>&1

ssh-copy-id -i /root/.ssh/id_dsa.pub [email protected]
ssh-copy-id -i /root/.ssh/id_dsa.pub [email protected]
ssh-copy-id -i /root/.ssh/id_dsa.pub [email protected]

10、檢查互信
masterha_check_ssh --conf=/etc/mha/app1.cnf
11、檢測主從
masterha_check_repl --conf=/etc/mha/app1.cnf
12、開啓MHA功能
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
13、查看啓動結果
tail -f /var/log/mha/app1/manager
10.0.0.51(10.0.0.51:3306) (current master)
+--10.0.0.52(10.0.0.52:3306)
+--10.0.0.53(10.0.0.53:3306)
masterha_check_status --conf=/etc/mha/app1.cnf

五、mha故障模擬切換

mha的重點不在於搭建mha,而在於當出現了出現故障之後如何切換和恢復
1、故障模擬，停掉主庫，查看manager觀察切換過程
tail -f /var/log/mha/app1/manager
2、開啓主庫（模擬主庫已經修好），將原主庫從新加入到主從環境
CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='xxx';
start slave;
3、將原主庫的信息重新加入到manager的配置文件中，配置文件爲/etc/mha/app1.cnf（mha故障切換成功後會自動把原主庫的信息在配置文件中刪除掉）
4、啓動mha manager程序（切換成功後manager程序會自動退出）
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
5、查看啓動mha狀態
masterha_check_status --conf=/etc/mha/app1.cnf

六 、MHAvip地址漂移

1、上傳master_ip_failover 文件到 /usr/local/bin/下邊
然後修改編碼 dos2unix /usr/local/bin/master_ip_failover
2、添加master_ip_failover_script=/usr/local/bin/master_ip_failover到mha的配置文件中/etc/mha/app1.cnf
3、重啓mha
masterha_stop --conf=/etc/mha/app1.cnf

nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
4、手工在主庫上綁定vip，注意一定要和配置文件中的ethN一致，我的是eth0:1(1是key指定的值)

ifconfig eth0:1 10.0.0.55/24
5、停主庫，看vip地址是否漂移成功

七、binlogserver配置使用

binlogserver是配置在MHA環境中單獨用來保存主庫二進制日誌的服務器，要求這臺服務器必須要有5.6以上的版本，支持gtid並開啓
1、配置manager程序上配置binlogserver
vim /etc/mha/app1.cnf
[binlog1]
no_master=1
hostname=10.0.0.53
master_binlog_dir=/data/mysql/binlog
2、提前在binlogserver上創建這兩個目錄
mkdir -p /data/mysql/binlog
chown -R mysql.mysql /data/mysql/*

3、修改完成後，將主庫binlog拉過來（從000001開始拉，之後的binlog會自動按順序過來）

cd /data/mysql/binlog --->必須進入到自己創建好的目錄
mysqlbinlog -R --host=10.0.0.52 --user=mha --password=mha --raw --stop-never mysql-bin.000001 &

4、重啓mha生效
masterha_stop --conf=/etc/mha/app1.cnf

nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

masterha_check_status --conf=/etc/mha/app1.cnf

八、mha的其他參數

ping_interval=2 manager檢測節點存活的間隔時間，總共會探測4次。
#設置爲候選master，如果設置該參數以後，發生主從切換以後將會將此從庫提升爲主庫，即使這個主庫不是集羣中事件最新的slave
candidate_master=1
#默認情況下如果一個slave落後master 100M的relay logs的話，MHA將不會選擇該slave作爲一個新的master，
因爲對於這個slave的恢復需要花費很長時間，通過設置check_repl_delay=0,
MHA觸發切換在選擇一個新的master的時候將會忽略複製延時，這個參數對於設置了candidate_master=1的主機非常有用，
因爲這個候選主在切換的過程中一定是新的master
check_repl_delay=0