前言
現在mysql自建集羣方案有多種,keepalived、MHA、PXC、MYSQL主備等,但是目前根據自身情況和條件,選擇使用pxc的放來進行搭建,最大的好處就是,多主多備,即主從一體,沒有同步延時問題,方便易用。
本人使用過,直接安裝pxc和docker容器方式的安裝,個人覺得docker下安裝更爲方便,也更易維護,所以也推薦大家使用此方式。
搭建環境
環境 |
---|
centos7 |
pxc版本鏡像:最新版,目前爲8.0+ |
主機ip | 部署 | swarm |
---|---|---|
172.16.9.40 | pxc1 | manager |
172.16.9.41 | pxc2 | worker |
172.16.9.42 | pxc3 | worker |
172.16.9.48 | nginx 做負載 |
前期準備
linux需要關閉防火牆,或者開啓某些需要的端口;pxc會自帶mysql,版本是對應一致的,所以機子上不需要mysql;最好關閉SELINUX,linux自帶的安全增強。
注意這些配置,三臺機子上都要操作。
1、開放pxc所需端口
端口 | 功能 |
---|---|
3306 | mysql數據庫 |
4567 | pxc cluster 相互通訊端口 |
4444 | sst全量傳輸 |
4568 | ist增量傳輸 |
這裏給出一些linux下防火牆的命令相關
# 查詢防火牆狀態
systemctl status firewalld
# 查詢防火牆狀態
firewall-cmd --state
# 查詢8080端口是否開放
firewall-cmd --query-port=8080/tcp
# 開放80端口
firewall-cmd --permanent --add-port=80/tcp
# 移除端口
firewall-cmd --permanent --remove-port=8080/tcp
清理防火牆
iptables -F
2、關閉SELINUX、關閉mysql
永久關閉:
vi /etc/selinux/config
設置SELINUX爲disable,然後reboot機子
臨時關閉:
setenforce 0
關閉mysql
systemctl status mysql
systemctl stop mysql
3、創建docker swarm集羣
swarm也需要一些端口的開放,當然如果你是關閉防火牆就無需多言
端口 | 功能 |
---|---|
2377 | 用於集羣通信 |
4789 | 容器覆蓋網絡 |
7946 | 容器網絡發現 |
我這裏是172.16.9.40作爲主節點
docker swarm init 主節點的初始化
docker swarm join --token xxxx xxxx 其他節點的加入
40主節點 init之後,控制檯就會出現 docker swarm join --token xxxx xxxx
然後41,42機子,就調用對應的命令,即可加入swarm集羣
docker node ls
可以查看現在的node信息,如下
root@srig config]# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
vk3kzrob1b8jvjq9bxia8lwa7 * srig.dcmp.database.m1 Ready Active Leader 20.10.3
4s0pj57d43hm71wipnnbckfkt srig.dcmp.database.m2 Ready Active 20.10.3
ub1fe2qms2rlhmj9zlap20bsq srig.dcmp.database.s1 Ready Active 20.10.3
docker node rm -f xxx 強制刪除節點
docker swarm leave -f 主節點強制離開swarm集羣
docker swarm leave 從節點離開swarm集羣
4、創建虛擬網絡
docker network create -d overlay --attachable xxxxx
其他相關命令
docker network inspect xxxx 查看改網絡信息
docker network ls 查看所有網絡信息
docker network rm xxxx 刪除網絡
這裏網絡名就叫,swarm_mysql
,創建好了網絡之後,docker network inspect swarm_mysql
查看(我這裏是節點建立好了之後,就可以看到,有三臺機子)
5、創建目錄及cert證書
如果你是8.0+且沒有使用相同的證書,那麼你肯定會遇到一個ssl相關的錯誤
“error:0407008A:rsa routines:RSA_padding_check_PKCS1_type_1:invalid padding”
這是因爲8.0後,是ssl來連接,三臺機子,就必須保持密鑰的一致性纔可以通信。
這是官方的解決方案,生成證書,大家使用同一套。
創建目錄
一般情況下我們最好看一下系統磁盤的分區情況,然後把mysql的數據要放到大的磁盤上
df -h
我這裏/home
下面最大,所以我的數據都是在/home
下面
!注意這裏的目錄在三臺機子上都要做相同的操作創建
cd /home
mkdir -m 777 pxc_cert 證書
mkdir -m 777 pxc_config mysql自定義配置文件
mkdir -m 777 pxc_data 數據
注意:這裏需要給予權限,不然很多地方會報錯
創建custom.cnf
cd /home/pxc_config
vi custom.cnf
輸入內容 這裏我們
[mysqld]
lower_case_table_names=1
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
ssl-ca = /cert/ca.pem
ssl-cert = /cert/server-cert.pem
ssl-key = /cert/server-key.pem
[client]
ssl-ca = /cert/ca.pem
ssl-cert = /cert/client-cert.pem
ssl-key = /cert/client-key.pem
[sst]
encrypt = 4
ssl-ca = /cert/ca.pem
ssl-cert = /cert/server-cert.pem
ssl-key = /cert/server-key.pem
我這裏需要設置數據庫不區分大小寫 和 8.0以後 可以使用group by
創建cert證書
docker run --name pxc-cert --rm -v /home/pxc_cert:/cert \
percona/percona-xtradb-cluster:8.0 mysql_ssl_rsa_setup -d /cert
就能在/home/pxc_cert
目錄下創建證書文件
!注意這裏的證書創建好,需要拷貝到其他兩臺機子上的相應目錄去
scp -r [email protected]:/home/pxc_cert /Users/jafir/downloads/pxc_cert
下載到本地
scp -r /Users/jafir/Downloads/pxc_cert [email protected]:/home/
scp -r /Users/jafir/Downloads/pxc_cert [email protected]:/home/
上傳到41 42其他兩臺機子
!注意:三臺機子都需要給你證書文件權限
cd /home/pxc_cert
chmod 777 *
搭建pxc集羣
1、安裝鏡像
docker pull percona/percona-xtradb-cluster
名字有點長,可以tag重命名
docker tag percona/percona-xtradb-cluster pxc
刪除原來的
docker rmi percona/percona-xtradb-cluster
2、多臺機子創建容器
我這裏是40主節點,其他是叢節點,所以40先開始創建
172.9.16.40主節點
docker run -d -p 3306:3306 --net=swarm_mysql \
-e MYSQL_ROOT_PASSWORD=asdw@123 \
-e CLUSTER_NAME=pxc_cluster \
-e XTRABACKUP_PASSWORD=asdw@123 \
-v /home/pxc_data:/var/lib/mysql \
-v /home/pxc_cert:/cert \
-v /home/pxc_config/:/etc/percona-xtradb-cluster.conf.d \
--privileged --name=pxc1 pxc
命令解讀:
docker run -d
-p 3306:3306 3306端口映射
--net=swarm_mysql 虛擬網絡名字
-e MYSQL_ROOT_PASSWORD=asdw@123 數據庫初始密碼
-e CLUSTER_NAME=pxc_cluster 集羣名字
-e XTRABACKUP_PASSWORD=asdw@123 備份密碼
-v /home/pxc_cert:/cert 證書路徑映射
-v /home/pxc:/var/lib/mysql pxc路徑映射
-v /home/pxc/config/:/etc/percona-xtradb-cluster.conf.d mysql配置文件路徑映射
--privileged 給予權限
--name=pxc1 pxc
可以docker logs pxc1
看看日誌是否報錯等
如果成功,你可以用Navicat連接看看是否成功啓動了mysql,啓動了之後再安裝從節點。
172.9.16.41節點
docker run -d -p 3306:3306 --net=swarm_mysql \
-e MYSQL_ROOT_PASSWORD=asdw@123 \
-e CLUSTER_NAME=pxc_cluster \
-e XTRABACKUP_PASSWORD=asdw@123 \
-v /home/pxc_data:/var/lib/mysql \
-v /home/pxc_cert:/cert \
-v /home/pxc_config/:/etc/percona-xtradb-cluster.conf.d \
-e CLUSTER_JOIN=pxc1 \
--privileged --name=pxc2 pxc
這裏跟上面比起來,多了一句 -e CLUSTER_JOIN=pxc1
,表示加入pxc1。
爲第2臺機子可以知道pxc1呢?就是因爲swarm集羣的建立,讓彼此可以相互通信。
172.9.16.42節點
docker run -d -p 3306:3306 --net=swarm_mysql \
-e MYSQL_ROOT_PASSWORD=asdw@123 \
-e CLUSTER_NAME=pxc_cluster \
-e XTRABACKUP_PASSWORD=asdw@123 \
-v /home/pxc_data:/var/lib/mysql \
-v /home/pxc_cert:/cert \
-v /home/pxc_config/:/etc/percona-xtradb-cluster.conf.d \
-e CLUSTER_JOIN=pxc1 \
--privileged --name=pxc3 pxc
注意:如果你是8.0+那麼你肯定會遇到一個ssl相關的錯誤
“error:0407008A:rsa routines:RSA_padding_check_PKCS1_type_1:invalid padding”
這是因爲8.0後,是ssl來連接,三臺機子,就必須保持密鑰的一致性纔可以通信。
這是官方的解決方案,生成證書,大家使用同一套。我這邊,就簡單點,直接把主機點那臺的文件考出來,然後傳輸給其他兩臺機子,覆蓋之後,重啓即可。
server-key.pem、server-cert.pem、client-key.pem、client-cert.pem、ca.pem
scp -r [email protected]:/home/pxc /Users/jafir/Downloads/pxc
從40節點,把數據拷貝下來,然後刪除裏面除了那5個文件的其他文件
scp -r /Users/jafir/Downloads/pxc [email protected]:/home
再上傳到41、42上面去覆蓋,然後重啓即可
成功
如果三臺都成功了,再確認一下。
主節點進入容器,再進入mysql查看
docker exec -it pxc1 sh
mysql -uroot -p
show status like 'wsrep%';
不出意外,這裏cluster size就是3臺
docker network inspect xxx
網絡也是3個
校驗
你可以在其中一臺上Navicat 創建一個數據庫,一張表等,就可以看到3臺都同步了!
nginx負載
nginx我是放在172.16.9.48上面的
如果沒有nginx.conf配置文件,可以先隨便建一個,然後把配置考出來
自建/nginx/log /nginx/etc/nginx.conf等
docker run -d -name nginx nginx
docker cp nginx:/etc/nginx/nginx.conf 拷貝出來
docker rm -f nginx
nginx.conf的配置修改
在最後一行添加,也就是和http同級
stream {
upstream pxc {
server 172.16.9.40:3306;
server 172.16.9.41:3306;
server 172.16.9.42:3306;
}
server {
listen 3306;
proxy_pass pxc;
}
}
docker run --net=host --name nginx -v /nginx/log/:/var/log/nginx -v /nginx/etc/nginx.conf:/etc/nginx/nginx.conf -d nginx
然後Navicat連接http://172.16.9.48:3306也可以連上數據庫啦
關於作者
作者是一個熱愛學習、開源、分享,傳播正能量,喜歡打籃球、頭髮還很多的程序員-。-
熱烈歡迎大家關注、點贊、評論交流!
簡書:https://www.jianshu.com/u/d234d1569eed
github:https://github.com/fly7632785