docker安裝pxc集羣 前言 前期準備 搭建pxc集羣 nginx負載 關於作者

前言

現在mysql自建集羣方案有多種,keepalived、MHA、PXC、MYSQL主備等,但是目前根據自身情況和條件,選擇使用pxc的放來進行搭建,最大的好處就是,多主多備,即主從一體,沒有同步延時問題,方便易用。

本人使用過,直接安裝pxc和docker容器方式的安裝,個人覺得docker下安裝更爲方便,也更易維護,所以也推薦大家使用此方式。

搭建環境

環境
centos7
pxc版本鏡像:最新版,目前爲8.0+
主機ip 部署 swarm
172.16.9.40 pxc1 manager
172.16.9.41 pxc2 worker
172.16.9.42 pxc3 worker
172.16.9.48 nginx 做負載

前期準備

linux需要關閉防火牆,或者開啓某些需要的端口;pxc會自帶mysql,版本是對應一致的,所以機子上不需要mysql;最好關閉SELINUX,linux自帶的安全增強。

注意這些配置,三臺機子上都要操作。

1、開放pxc所需端口

端口 功能
3306 mysql數據庫
4567 pxc cluster 相互通訊端口
4444 sst全量傳輸
4568 ist增量傳輸

這裏給出一些linux下防火牆的命令相關

# 查詢防火牆狀態
systemctl status firewalld
# 查詢防火牆狀態
firewall-cmd --state
# 查詢8080端口是否開放
firewall-cmd --query-port=8080/tcp
# 開放80端口
firewall-cmd --permanent --add-port=80/tcp
# 移除端口
firewall-cmd --permanent --remove-port=8080/tcp
清理防火牆
iptables -F

2、關閉SELINUX、關閉mysql

永久關閉:

vi /etc/selinux/config

設置SELINUX爲disable,然後reboot機子

臨時關閉:

setenforce 0

關閉mysql

systemctl status mysql
systemctl stop mysql

3、創建docker swarm集羣

swarm也需要一些端口的開放,當然如果你是關閉防火牆就無需多言

端口 功能
2377 用於集羣通信
4789 容器覆蓋網絡
7946 容器網絡發現

我這裏是172.16.9.40作爲主節點

docker swarm init 主節點的初始化

docker swarm join --token xxxx xxxx  其他節點的加入

40主節點 init之後,控制檯就會出現 docker swarm join --token xxxx xxxx

然後41,42機子,就調用對應的命令,即可加入swarm集羣

docker node ls 

可以查看現在的node信息,如下

root@srig config]# docker node ls
ID                            HOSTNAME                STATUS    AVAILABILITY   MANAGER STATUS   ENGINE VERSION
vk3kzrob1b8jvjq9bxia8lwa7 *   srig.dcmp.database.m1   Ready     Active         Leader           20.10.3
4s0pj57d43hm71wipnnbckfkt     srig.dcmp.database.m2   Ready     Active                          20.10.3
ub1fe2qms2rlhmj9zlap20bsq     srig.dcmp.database.s1   Ready     Active                          20.10.3
docker node rm -f xxx 強制刪除節點
docker swarm leave -f 主節點強制離開swarm集羣
docker swarm leave 從節點離開swarm集羣

4、創建虛擬網絡

docker network create -d overlay --attachable xxxxx

其他相關命令

docker network inspect xxxx 查看改網絡信息
docker network ls 查看所有網絡信息
docker network rm xxxx 刪除網絡

這裏網絡名就叫,swarm_mysql,創建好了網絡之後,docker network inspect swarm_mysql 查看(我這裏是節點建立好了之後,就可以看到,有三臺機子)

5、創建目錄及cert證書

如果你是8.0+且沒有使用相同的證書,那麼你肯定會遇到一個ssl相關的錯誤

“error:0407008A:rsa routines:RSA_padding_check_PKCS1_type_1:invalid padding”

這是因爲8.0後,是ssl來連接,三臺機子,就必須保持密鑰的一致性纔可以通信。

這是官方的解決方案,生成證書,大家使用同一套。

創建目錄

一般情況下我們最好看一下系統磁盤的分區情況,然後把mysql的數據要放到大的磁盤上

df -h

我這裏/home下面最大,所以我的數據都是在/home下面

!注意這裏的目錄在三臺機子上都要做相同的操作創建

cd /home
mkdir -m 777 pxc_cert       證書
mkdir -m 777 pxc_config     mysql自定義配置文件
mkdir -m 777 pxc_data      數據

注意:這裏需要給予權限,不然很多地方會報錯

創建custom.cnf
cd /home/pxc_config
vi custom.cnf

輸入內容 這裏我們

[mysqld]
lower_case_table_names=1
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
ssl-ca = /cert/ca.pem
ssl-cert = /cert/server-cert.pem
ssl-key = /cert/server-key.pem

[client]
ssl-ca = /cert/ca.pem
ssl-cert = /cert/client-cert.pem
ssl-key = /cert/client-key.pem

[sst]
encrypt = 4
ssl-ca = /cert/ca.pem
ssl-cert = /cert/server-cert.pem
ssl-key = /cert/server-key.pem

我這裏需要設置數據庫不區分大小寫 和 8.0以後 可以使用group by

創建cert證書
docker run --name pxc-cert --rm -v /home/pxc_cert:/cert \
percona/percona-xtradb-cluster:8.0 mysql_ssl_rsa_setup -d /cert

就能在/home/pxc_cert目錄下創建證書文件

!注意這裏的證書創建好,需要拷貝到其他兩臺機子上的相應目錄去

scp -r [email protected]:/home/pxc_cert /Users/jafir/downloads/pxc_cert

下載到本地

scp -r /Users/jafir/Downloads/pxc_cert [email protected]:/home/
scp -r /Users/jafir/Downloads/pxc_cert [email protected]:/home/

上傳到41 42其他兩臺機子

!注意:三臺機子都需要給你證書文件權限

cd /home/pxc_cert
chmod 777 *

搭建pxc集羣

1、安裝鏡像

docker pull percona/percona-xtradb-cluster

名字有點長,可以tag重命名

docker tag percona/percona-xtradb-cluster pxc

刪除原來的

docker rmi percona/percona-xtradb-cluster

2、多臺機子創建容器

我這裏是40主節點,其他是叢節點,所以40先開始創建

172.9.16.40主節點
docker run -d -p 3306:3306 --net=swarm_mysql  \
-e MYSQL_ROOT_PASSWORD=asdw@123  \
-e CLUSTER_NAME=pxc_cluster \
-e XTRABACKUP_PASSWORD=asdw@123  \
-v /home/pxc_data:/var/lib/mysql  \
-v /home/pxc_cert:/cert \
-v /home/pxc_config/:/etc/percona-xtradb-cluster.conf.d  \
--privileged --name=pxc1  pxc

命令解讀:

docker run -d 
-p 3306:3306  3306端口映射
--net=swarm_mysql  虛擬網絡名字
-e MYSQL_ROOT_PASSWORD=asdw@123  數據庫初始密碼
-e CLUSTER_NAME=pxc_cluster 集羣名字
-e XTRABACKUP_PASSWORD=asdw@123  備份密碼
-v /home/pxc_cert:/cert 證書路徑映射
-v /home/pxc:/var/lib/mysql  pxc路徑映射 
-v /home/pxc/config/:/etc/percona-xtradb-cluster.conf.d  mysql配置文件路徑映射
--privileged 給予權限
--name=pxc1  pxc

可以docker logs pxc1看看日誌是否報錯等

如果成功,你可以用Navicat連接看看是否成功啓動了mysql,啓動了之後再安裝從節點。

172.9.16.41節點
docker run -d -p 3306:3306 --net=swarm_mysql  \
-e MYSQL_ROOT_PASSWORD=asdw@123  \
-e CLUSTER_NAME=pxc_cluster \
-e XTRABACKUP_PASSWORD=asdw@123  \
-v /home/pxc_data:/var/lib/mysql  \
-v /home/pxc_cert:/cert \
-v /home/pxc_config/:/etc/percona-xtradb-cluster.conf.d  \
-e CLUSTER_JOIN=pxc1 \
--privileged --name=pxc2  pxc

這裏跟上面比起來,多了一句 -e CLUSTER_JOIN=pxc1 ,表示加入pxc1。
爲第2臺機子可以知道pxc1呢?就是因爲swarm集羣的建立,讓彼此可以相互通信。

172.9.16.42節點
docker run -d -p 3306:3306 --net=swarm_mysql  \
-e MYSQL_ROOT_PASSWORD=asdw@123  \
-e CLUSTER_NAME=pxc_cluster \
-e XTRABACKUP_PASSWORD=asdw@123  \
-v /home/pxc_data:/var/lib/mysql  \
-v /home/pxc_cert:/cert \
-v /home/pxc_config/:/etc/percona-xtradb-cluster.conf.d  \
-e CLUSTER_JOIN=pxc1 \
--privileged --name=pxc3  pxc

注意:如果你是8.0+那麼你肯定會遇到一個ssl相關的錯誤

“error:0407008A:rsa routines:RSA_padding_check_PKCS1_type_1:invalid padding”

這是因爲8.0後,是ssl來連接,三臺機子,就必須保持密鑰的一致性纔可以通信。

這是官方的解決方案,生成證書,大家使用同一套。我這邊,就簡單點,直接把主機點那臺的文件考出來,然後傳輸給其他兩臺機子,覆蓋之後,重啓即可。

server-key.pem、server-cert.pem、client-key.pem、client-cert.pem、ca.pem

scp -r [email protected]:/home/pxc /Users/jafir/Downloads/pxc

從40節點,把數據拷貝下來,然後刪除裏面除了那5個文件的其他文件

scp -r /Users/jafir/Downloads/pxc [email protected]:/home

再上傳到41、42上面去覆蓋,然後重啓即可

成功

如果三臺都成功了,再確認一下。

主節點進入容器,再進入mysql查看

docker exec -it pxc1 sh
mysql -uroot -p 
show status like 'wsrep%';  

不出意外,這裏cluster size就是3臺

docker network inspect xxx

網絡也是3個

校驗

你可以在其中一臺上Navicat 創建一個數據庫,一張表等,就可以看到3臺都同步了!

nginx負載

nginx我是放在172.16.9.48上面的

如果沒有nginx.conf配置文件,可以先隨便建一個,然後把配置考出來

自建/nginx/log /nginx/etc/nginx.conf等

docker run -d -name nginx nginx
docker cp nginx:/etc/nginx/nginx.conf  拷貝出來
docker rm -f nginx
nginx.conf的配置修改

在最後一行添加,也就是和http同級

stream {
    upstream pxc {
        server 172.16.9.40:3306;
        server 172.16.9.41:3306;
        server 172.16.9.42:3306;
    }
    server {
        listen 3306;
        proxy_pass pxc;
    }
}
docker run --net=host  --name nginx -v /nginx/log/:/var/log/nginx -v /nginx/etc/nginx.conf:/etc/nginx/nginx.conf -d nginx

然後Navicat連接http://172.16.9.48:3306也可以連上數據庫啦

關於作者

作者是一個熱愛學習、開源、分享,傳播正能量,喜歡打籃球、頭髮還很多的程序員-。-

熱烈歡迎大家關注、點贊、評論交流!

簡書:https://www.jianshu.com/u/d234d1569eed

github:https://github.com/fly7632785

CSDN:https://blog.csdn.net/fly7632785

掘金:https://juejin.im/user/5efd8d205188252e58582dc7/posts

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章