MySQL Cluste—分布式数据库集群搭建

一、为什么要用MySQL Cluset分布式集群？

大家可以看这两位大佬的文章：
https://blog.csdn.net/qq_15092079/article/details/82665307
https://www.cnblogs.com/jesselzj/p/5609705.html

二、环境说明

2.1 系统环境

服务器	角色	环境说明
192.168.1.97	管理节点	系统：Ubuntu 16.04.6
192.168.1.99	数据节点	系统：Ubuntu 16.04.6
192.168.1.98	SQL节点	系统：Ubuntu 16.04.4
192.168.1.94	SQL节点	系统：Ubuntu 16.04.4

2.2 软件环境
mysql cluster 集群版本：mysql-cluster-gpl-7.6.12-linux-glibc2.12-x86_64
可到官网下载：https://dev.mysql.com/downloads/cluster/

三、安装MySQL Cluster

所有服务器均需执行执行以下操作。

注意：在安装mysql cluster之前，必须得先检查该服务器上是否已安装了普通mysql，若安装了则需先把mysql删除干净，因为mysql cluster就包括了普通版mysql；

　1. 删除mysql　　　

　　a. sudo apt-get autoremove --purge mysql-server-5.0(版本可不写5.0)
　　b. sudo apt-get remove mysql-server
　　c. sudo apt-get autoremove mysql-server
　　d. sudo apt-get remove mysql-common (必须)

　2. 清理缓存数据
　　dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P

在安装管理节点、数据节点和sql节点时，最好以root用户登录执行，否则有一些步骤需要用到sudo命令来执行。
3.1、开始安装

第一步:
	tar -xavf mysql-cluster-gpl-7.6.12-linux-glibc2.12-x86_64\ .tar.gz
第二步，解压过后：
	sudo mkdir /usr/local/mysql
第三步：
	sudo cp -r /home/xgp/python_tools/mysql-cluster-gpl-7.6.12-linux-glibc2.12-x86_64/* /usr/local/mysql

每个服务器都需要一份

四、配置安装管理节点

在服务器 192.168.1.97上执行以下操作。
注意，管理节点的防火墙端口开放，默认是1186。
4.1、拷贝命令

#将文件ndb_mgm和ndb_mgmd拷贝到/usr/local/bin/目录下
1：sudo cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin/
2：sudo chmod +x /usr/local/bin/ndb_mgm*

4.2、配置文件

	# 创建数据库集群配置文件的目录
	1：sudo mkdir /var/lib/mysql-cluster
	# 创建并编辑配置文件
	2：sudo vim /var/lib/mysql-cluster/config.ini
	3：
		[ndbd default]
		NoOfReplicas=1
		DataMemory=200M
		IndexMemory=64M

		[ndb_mgmd]
		NodeId=1
		hostname=192.168.1.97
		datadir=/var/lib/mysql-cluster

		[ndbd]
		NodeId=3
		hostname=192.168.1.99
		datadir=/usr/local/mysql/data/

		[mysqld]
		NodeId=4
		hostname=192.168.1.94

		[mysqld]
		NodeId=5
		hostname=192.168.1.98

[NDBD DEFAULT]：表示每个数据节点的默认配置，在每个节点的[NDBD]中不用再写这些选项，只能有一个。

NoOfReplicas：副本数量，数据节点数必须是副本数的整数倍。

[NDB_MGMD]：表示管理节点的配置，只有一个，默认的对其他节点的端口是1186，故服务器需要开放1186端口。

[NDBD]：表示每个数据节点的配置，可以有多个，分别写上不同数据节点的IP地址。

[MYSQLD]：表示SQL节点的配置，可以有多个，分别写上不同SQL节点的IP地址。

4.3、启动管理节点

# 第一次启动
sudo ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial
# 以后启动
sudo ndb_mgmd -f /var/lib/mysql-cluster/config.ini
# 如果以后修改配置文件
sudo ndb_mgmd -f /var/lib/mysql-cluster/config.ini --reload

ndb_mgmd是mysql cluster的管理服务器，后面的-f表示后面的参数是启动的参数配置文件。
如果在启动后过了几天又添加了一个数据节点，这时修改了配置文件启动时就必须加上--initial参数，
不然添加的节点不会作用在mysql cluster中

五、配置安装数据节点

在服务器 192.168.1.99 上执行以下操作。

注意，数据节点的端口开放问题，最好把防火墙关闭，虽然之前版本的默认端口号时2202，但是好像时5.1之后的端口号就没有限制（看哪个端口空闲就用哪个端口），即与sql节点通信的端口号会随机变换。若没有关闭防火墙，后面在管理节点查看集群状态的时候，可能会出现mysql节点老是连接不上的问题。
5.1、配置my.cnf文件

sudo vim /etc/my.cnf

[mysqld]
ndbcluster
datadir=/usr/local/mysql/data
basedir=/usr/local/mysql
character_set_server=utf8
default-storage-engine=ndbcluster
port=3306
# 以下两句可要可不要，给单张表添加大小
tmp_table_size = 500M
max_heap_table_size = 500M


[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

[mysql_cluster]
ndb-connectstring=192.168.1.97:1186

5.2、安装mysql数据库

5.2.1 更改权限

	#分别添加mysql组和mysql用户
	groupadd mysql
	useradd mysql -g mysql
	 
	#进入mysql目录
	cd /usr/local/mysql/
	 
	#把mysql的目录设置成所有者为root
	chown -R root .
	 
	#创建data目录，并把data目录设置所有者为mysql
	mkdir data
	chown -R mysql data
	 
	#把mysql的目录改成所属组为mysql
	chgrp -R mysql .

5.2.2 执行安装脚本
一：sudo ./bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/
结果如下：
	2019-11-07T10:20:33.970981Z 1 [Note] A temporary password is generated for root@localhost: ,sFna=hgQ3rP # 初始账号：root,密码：,sFna=hgQ3rP

5.2.3 修改数据库密码
	# 加入到service服务
	sudo cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
	sudo chmod +x /etc/init.d/mysqld
	sudo update-rc.d ./mysqld defaults (/etc/init.d 在这个目录下操作)
	sudo service mysqld start

5.2.4 进入数据库
	sudo /usr/local/mysql/bin/mysql -uroot -p # 这里输入最开始的原始密码
	set password=password('新的密码')；
	mysql> show databases;
	# 结果如下：
		+--------------------+
		| Database           |
		+--------------------+
		| information_schema |
		| mysql              |
		| performance_schema |
		| sys                |
		+--------------------+
		4 rows in set (0.00 sec)

5.2.5 开启远程
	1，use mysql
	2，update user set host = '%' where user = 'root';
	3，flush privileges;

5.3、启动数据节点

第一次启动如下：
	sudo /usr/local/mysql/bin/ndbd --initial
非第一次启动如下：
	sudo /usr/local/mysql/bin/ndbd

安装后第一次启动数据节点时要加上--initial参数。在以后的启动过程中，
则是不能添加该参数的，否则ndbd程序会清除在之前建立的所有用于恢复的数据文件和日志文件。

六、配置SQL节点

分别在服务器192.168.1.194和192.168.1.98上执行以下操作。

6.1、配置my.cnf文件
mysql服务启动时会默认加载/etc/my.cnf作为其配置文件，故需要修改/etc/my.cnf配置文件。

[mysqld]
ndbcluster
datadir=/usr/local/mysql/data
basedir=/usr/local/mysql
character_set_server=utf8
default-storage-engine=ndbcluster
port=3306
tmp_table_size = 500M
max_heap_table_size = 500M


[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

[mysql_cluster]
ndb-connectstring=192.168.1.97:1186

default-storage-engine，数据库建表时的默认引擎为ndbcluster，否则数据会同步失败。
6.2、安装MySQL数库同上：5.2 安装mysql数据库步骤
6.3、启动sql节点

service mysqld start

七、测试

7.1、用管理节点查看

ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB)]	1 node(s)
id=3	@192.168.1.99  (mysql-5.7.28 ndb-7.6.12, Nodegroup: 0, *)

[ndb_mgmd(MGM)]	1 node(s)
id=1	@192.168.1.97  (mysql-5.7.28 ndb-7.6.12)

[mysqld(API)]	2 node(s)
id=4 (not connected, accepting connect from 192.168.1.94)  # 因为 94服务器运维正在维修。
id=5	@192.168.1.98  (mysql-5.7.28 ndb-7.6.12)

7.2、测试数据
连接任何一个sql节点，在此sql节点上操作，创建数据库、创建表结构、增删改等操作，在其他的sql节点上也会同步这些操作，使数据保持一致。在 192.168.1.98上进行操作

#登陆数据库
sudo /usr/local/mysql/bin/mysql -uroot -p
Enter password:输入密码
 
#创建数据库mytest
mysql> create database mytest;
 
#切换到mytest数据库
mysql> use mytest;
 
#创建表结构sys_myfirst
mysql> create table sys_myfirst(id varchar(36) primary key, name varchar(100), memo varchar(255));
 
#在sys_myfirst中添加几条数据
mysql> insert into sys_myfirst(id, name, memo) values('1','test1','hello world!');
mysql> insert into sys_myfirst(id, name, memo) values('2','test2','hello world haha!');
mysql> insert into sys_myfirst(id, name, memo) values('3','test3','hello world hehe!');
 
#查看数据
mysql> select * from sys_myfirst;
+----+-------+-------------------+
| id | name  | memo              |
+----+-------+-------------------+
| 2  | test2 | hello world haha! |
| 1  | test1 | hello world!      |
| 3  | test3 | hello world hehe! |
+----+-------+-------------------+
3 rows in set (0.00 sec)

在sql节点192.168.1.94上查看数据

#这里就省去登陆mysql客户端的步骤了
#查看数据
mysql> select * from sys_myfirst;
+----+-------+-------------------+
| id | name  | memo              |
+----+-------+-------------------+
| 1  | test1 | hello world!      |
| 3  | test3 | hello world hehe! |
| 2  | test2 | hello world haha! |
+----+-------+-------------------+
3 rows in set (0.00 sec)

以上是从别人的文章直接粘贴过来的，但是自己已经操作过了，是可行的连接如下：
原文链接：https://blog.csdn.net/qq_15092079/article/details/82665307

八、启动和停止集群

启动顺序：管理节点—数据节点—sql节点

停止顺序：管理节点（会同时停止管理节点和数据节点）—sql节点

以上是看网上的人都是这么说的，但是根据我的实践，其实sql节点可以一直保持启动状态（即使管理节点停止了也没关系，下次启动的时候会自动连接上此sql节点），只要第一次启动的时候遵循上面的顺序即可。
8.1、停止管理节点

#第一种方法
ndb_mgm -e shutdown
 
#第二种方法
ndb_mgm
ndb_mgm> shutdown;

8.2、停止sql节点

# 其实就是停止mysql服务
service mysqld stop

以上配置就结束了，参考大佬连接如下：

https://blog.csdn.net/qq_42784891/article/details/86626163
https://blog.csdn.net/qq_15092079/article/details/82665307

九、总结

总体部署起来不算太难，以后用的时候在写心得

MySQL Cluste—分布式数据库集群搭建

一、为什么要用MySQL Cluset分布式集群？

二、环境说明

三、安装MySQL Cluster

四、配置安装管理节点

五、配置安装数据节点

六、配置SQL节点

七、测试

八、启动和停止集群

九、总结

使用c#强大的表达式树实现对象的深克隆之解决循环引用的问题

痞子衡嵌入式：恩智浦i.MX RT1xxx系列MCU启动那些事（12.A）- uSDHC eMMC启动时间(RT1170)

GPT-4o 引领人机交互新风向，向量数据库赛道沸腾了

企业大模型如何成为自己数据的“百科全书”？

本地SSL证书过期输入命令在IIS自动生成

.NET周刊【5月第2期 2024-05-12】

MySQL Cluste—分佈式數據庫集羣搭建

阿里雲ECS服務器Ubuntu16.04 安裝MySQL並遠程訪問

Python--使用線程--批量文件的移動以及FTP共享自己文件夾

Python-基於布隆過濾器下URL去重實例。

python 利用asynico+aiohttp模塊實現簡單的異步爬蟲

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

MySQL Cluste—分布式数据库集群搭建

一、为什么要用MySQL Cluset分布式集群？

二、环境说明

三、 安装MySQL Cluster

四、配置安装管理节点

五、 配置安装数据节点

六、配置SQL节点

七、测试

八、启动和停止集群

九、总结

三、安装MySQL Cluster

五、配置安装数据节点