本文最后更新于：9 天前

MySQL 复制架构

第一节概述

1.1 数据拓展

热备份：数据库在运行的过程中，对数据进行备份操作。相对的，还有冷备份，冷备份需要停机，然后对数据进行备份操作。
多活：所谓的多活，就是让数据库机器节点会存在多个，避免单点情况的出现。
故障切换：当一台数据库物理机出现异常状况时，可以自动的切换到其他物理机上。
读写分离：当存在多台数据库物理机，将读写操作分别交给不同的机器完成。
负载均衡：假设当存在多台数据库物理机接收读请求时，多个请求会均匀的分配到不同的机器上，避免大量请求压在某一台机器上。

1.2 常见架构

没有百分百的完美架构，只有适合的架构

理解mysql的分库分表，先了解mysql的架构设计,在mysql架构中，经常会使用到的就是读写分离，此设计理念的基础上常见架构有: 一主一从或多从、主主复制、级联复制、主主与级联复制结合。

一主一从或多从: 一个mysql数据库主节点,一个或者多个从节点.主节点与从节点进行数据同步

主主复制: 两个mysql主节点,主节点与主节点之间进行数据同步

级联复制: 类似一主多从架构,但是从节点分级同步

主主与级联复制结合: 双主节点同步,同时从节点分级同步

第二节主从模式

1、主从简介

主从模式是使用的最多的mysql高可用架构。

存在一台master作为写机，一个或多个slave作为读机,实现读写分离。之所以这么设计是因为在实际的情况下，读的请求量一般是远远大于写请求。架构图如下

优点:

读与写的节点分离,数据写入master节点后,再由master节点将数据复制到slave节点上

缺点:

master是单点存在的，如果要对master进行停机维护，无法接收写请求
master需要将写入数据复制到各个slave节点，复制是有一定的时间延迟的，因此有可能出现查询数据不一致
对master进行停机维护，需将某一个slave提升为新的master节点，选举规则需要进行自定义
当slave被提升为新的master后，可能会造成新的master节点与旧master的数据不一致

1.3.2 主从搭建

在虚拟机中安装 docker

1	`yum install -y docker`

若遇到如下问题:

#编辑yum的配置文件
vi /etc/yum/pluginconf.d/langpacks.conf
将第一行：enable=1改为enable=0

#杀掉进程即可
kill -9 8683

查看docker版本

docker -v
#开启启动docker
systemctl enable docker
#查看运行状态
systemctl status docker
#启动
systemctl start docker
#停止
systemctl stop docker
#重启
systemctl restart docker

搜索mysql镜像

1	`docker search mysql`

下载mysql镜像

1	`docker pull docker.io/mysql:5.7`

安装mysql容器

#服务一
docker run --name mysqlm1 \
-p 10000:3306 \
--privileged=true \
-it \
-e MYSQL_ROOT_PASSWORD=123456 \
-e MYSQL_USER=user \
-e MYSQL_PASSWORD=pass \
-v /home/mysql/docker-data/m1/conf:/etc/mysql/conf.d \
-v /home/mysql/docker-data/m1/data/:/var/lib/mysql \
-v /home/mysql/docker-data/m1/logs/:/var/log/mysql \
-d mysql:5.7

#服务二
docker run --name mysqls1 \
-p 20000:3306 \
--privileged=true \
-it \
-e MYSQL_ROOT_PASSWORD=123456 \
-e MYSQL_USER=user \
-e MYSQL_PASSWORD=pass \
-v /home/mysql/docker-data/s1/conf:/etc/mysql/conf.d \
-v /home/mysql/docker-data/s1/data/:/var/lib/mysql \
-v /home/mysql/docker-data/s1/logs/:/var/log/mysql \
-d mysql:5.7

参数说明：

-p 参数格式：宿主机端口号:容器内程序的端口号

-e MYSQL_ROOT_PASSWORD 给 MySQL 的 root 用户设置密码

-v 参数指定宿主机内的目录，用来给 docker 容器设定配置文件等等

images

在两台机器上新增配置文件,路径为/home/mysql/docker-data/m1/conf/my.cnf

# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html

[mysqld]
#
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
#
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
#
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M

character_set_server=utf8
init_connect='SET NAMES utf8'

# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

lower_case_table_names=1
#指定主机号，不允许出现重复
server-id=134
#开启binlog
log-bin=mysql-bin
auto_increment_increment=2
auto_increment_offset=1

#rpl_semi_sync_master_enabled=1
#rpl_semi_sync_master_timeout=10000

/home/mysql/docker-data/s1/conf/my.cnf

# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html

[mysqld]
#
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
#
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
#
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M

character_set_server=utf8
init_connect='SET NAMES utf8'

# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

lower_case_table_names=1
#指定主机号，不允许出现重复
server-id=130
#开启binlog
log-bin=mysql-bin
auto_increment_increment=2
auto_increment_offset=1

#rpl_semi_sync_master_enabled=1
#rpl_semi_sync_master_timeout=10000

❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤

修改 my.cnf 后记得重启 MySQL 容器！

[root@demo conf]# docker restart mysqlm1
mysqlm1
[root@demo conf]# docker restart mysqls1
mysqls1

❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤

在master的docker容器中添加mysql权限，开启备份机复制，并且设置备份用户信息

#在134服务中进入mysql容器
docker exec -it mysqlm1 /bin/bash

#登录到 MySQL
mysql -u root -p
EnterPassword:123456

#==================== 在 MySQL 中的操作 ===========================
#添加权限
GRANT REPLICATION SLAVE,FILE,REPLICATION CLIENT ON *.* TO 'repluser'@'%' IDENTIFIED BY '123456';

#刷新权限
FLUSH PRIVILEGES;

#退出MySQL
quit;
#==================== 在 MySQL 中的操作 ===========================

#退出docker容器
exit

#重启容器
docker restart mysqlm1

#查看m1的binlog信息（需要进入docker容器，然后再登录MySQL执行）
show master status;

设置主从关系

接着在slave中进入到mysql容器，设置master信息，用于标注当前slave的master是谁

images

#语法
change master to master_host='通过宿主机访问master的ip',master_port=docker对外暴露的宿主机master的端口号,master_user='repluser',master_password='123456',master_log_file='master中的binlob文件',master_log_pos=master中的position位置信息;
#命令
change master to master_host='192.168.2.128',master_port=10000,master_user='repluser',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=487;

提示：如果命令发现参数打错了就执行 stop slave；再重新执行上述命令

完成后，还需要开启slave中的IO和SQL线程，这两个线程主要用于slave中进行数据备份。

IO 线程：从日志文件中读取数据，其中最关键的就是用来同步数据的 SQL 语句
SQL 线程：执行从日志文件中读取到的 SQL 语句

可以先查看slave中这两个线程的状态

1	`show slave status\G;`

我们发现在slave中，这两个线程是关闭的，需要将这两个线程进行开启

1 2	`#开启（在 docker容器中登录 MySQL 后执行） start slave;`

到此，mysql主从复制就已经搭建完毕

1.3.3 测试

[1]查看主从相关信息

查看slave中的binlog是否已经开启

1	`show global variables like "%log%";`

查看master、slave中的进程信息

1 2	`#m1和s1分别输入 show processlist;`

m1节点内容

s1节点内容

[2]数据库同步测试

在m1节点创建一个数据库

在s1节点中查看数据库

[3]表同步测试

在m1中创建一张表

DROP TABLE IF EXISTS `t_user`;
CREATE TABLE `t_user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`username` varchar(50) DEFAULT NULL,
`password` varchar(50) DEFAULT NULL,
`address` varchar(50) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;

在s1中查看表

[4]数据同步测试

在m1中新增一条数据

1	INSERT INTO `t_user` VALUES ('1', 'zhangsan', '123', '北京');

在130中查看数据

[5]反向同步数据

在s1中新增一条数据

1 2	INSERT INTO `t_user` VALUES ('2', 'lisi', '123', '上海');

在m1中查看数据

==结论: 从服务中新增数据无法同步到主服务中去, 主从同步是单向的!==

[6]数据修复

如果因为各种原因，发现 slave 中的数据和 master中不一致，可以参考下面的步骤恢复（下面的步骤相当于在 slave 中推倒重来）：

停止 slave 相关复制线程

stop slave;
删除 slave 中同步过来的数据库

drop database db_hr;
重新设定主从关系

change master to master_host=’192.168.2.128’,master_port=10000,master_user=’repluser’,master_password=’123456’,master_log_file=’mysql-bin.000002’,master_log_pos=154;
重新启动 slave 中的相关复制线程

start slave;

1.4 主从复制原理

异步操作：不需要等待
同步操作：需要等待

1.4.1 异步复制

在主服务器写操作举例：insert 语句。
事务提交到master，master确认修改已保存。
master接收到应用事务提交请求后，更新内部的binlog日志，让mysql引擎执行事务操作，并返回给客户端执行结果信息。同时在master中会存在一个事件监听，其会一直监听着master中binlog日志文件的改变，一旦发现日志文件发生改变，触发dump线程
dump线程被触发后，通知slave中的IO线程：现在有事务操作要进行同步
slave中IO线程接收到通知后，会从slave中relay-log.info文件中获取slave中的binlog日志文件和pos位置信息。接着会把这部分信息发送给master的dump线程。发送信息的含义是：告诉master，我上次读取到了哪里，这次还从上次读取到的位置继续读取。
master的dump线程收到这些信息后，会根据slave发送的binlog日志文件和pos位置，将最新的binlog日志和pos位置后面的内容同步给slave的IO线程
slave的IO线程接收到这些信息后，会将这部分内容同步到slave中的relay-bin文件中
当relay-bin文件发生改变后，触发slave线程执行sql操作【异步】
当slave向relay-bin写入完成后，会向master返回一个ACK消息，同步成功。

对于这一系列的操作，可以发现master和slave在进行同步时是以异步的方式完成的，master写入完binlog后，会马上通过引擎进行事务提交并向客户端返回响应，对于与slave同步的操作，则是异步完成的。

优点:

效率高

缺点:

可能出现数据不一致

1.4.2 半同步复制

半同步复制与异步复制的工作流程大体相似

不同点: 当master中的binlog日志写入完成后，其不会马上通过引擎进行事务提交，而会处于等待，等到slave同步完成向master返回ACK通知后，才会唤醒等待，继续向下执行。

等待的时长，默认为10秒，但该时间可以配置
尽量的避免了主从数据不一致，但造成吞吐量的降低
mysql兜底方案: 使用半同步复制进行备份时slave节点挂掉了，那么当master等待10秒后，仍然会进行引擎提交，同时会将半同步复制切换为异步复制。等到slave节点重启后，又会自动的从异步复制切换到半同步复制。

1.4.3 异步复制实现

Mysql在进行复制操作时，默认是基于异步复制完成的。那为了更好的体会异步复制的效果，可以通过mysql日志来查看具体的复制过程效果。

查看master的Mysql日志信息

1 2	`docker logs -f mysqlm1`

1
2

根据当前查看的日志信息，在master中已经开启了dump线程连接到了id为130的slave节点，并且该id就是在slave的mysql配置文件中设置的id。同时pos内容包括当前的binlog日志和pos位置。

查看slave的Mysql日志信息

1 2	`docker logs -f mysqls1`

根据slave中的日志信息，可以看到，当前slave中已经开启了relay-log日志，其对应文件信息就是xxxxx-relay-bin。其内部保存的就是slave中的相关binlog信息和pos位置信息。

同时在slave中也已经开启了SQL Thread，并且根据信息可以，它会从7375d7dd3ef6-relay-bin.000001文件的4位置开始复制。

同时在slave中也开启了IO Thread，其已经连接到master，并且会从master的binlog日志的154的位置开启复制。

查看master当前的binlog日志信息

cd home/mysql/docker-data/129/data/
#确定当前master正在使用的binlog日志文件
cat mysql-bin.index
#查看当前binlog日志文件内容
tail -f mysql-bin.000001

查看slave当前的日志信息

1.4.4 半同步复制实现

进入mysql容器，加载lib，主从节点都要配置，因为主从节点间会存在切换。

# 这两条 install 命令需要在 m1 中都执行一遍，然后在 s1 中也都执行一遍
install plugin rpl_semi_sync_master soname 'semisync_master.so';
install plugin rpl_semi_sync_slave soname 'semisync_slave.so';
#查看插件信息
show plugins;

启用半同步（务必先启用从库，再启用主库）

#先启用从库，再启用主库

从库：set global rpl_semi_sync_slave_enabled= 1;   # 1：启用，0：禁止

主库：
     set global rpl_semi_sync_master_enabled= 1;   # 1：启用，0：禁止
     set global rpl_semi_sync_master_timeout=10000;   # 单位为ms

从库重启IO Thread

1
2
3

stop slave io_thread;
start slave io_thread;

主库查看启动状态

1
2
3

#查询状态信息
show global status like "%sync%";

1
2
3

#查询参数信息
show global variables like '%sync%';

半同步复制效果测试

正常的向master中添加数据，slave可以进行正常数据更新

关闭slave的IO,再次向master中添加数据

# 从库执行操作：关闭 I/O 线程
stop slave io_thread;

# 主库插入数据
INSERT INTO `t_user` VALUES ('3', 'ding', '111', '武汉');

==此时复制机制会由半同步复制转换为异步复制，当再次向master中添加数据，不会再次出现等待==

slave中重新开启IO Thread

1 2	`start slave io_thread;`

异步复制会再次转换为半同步复制，master中打印日志信息如下：

在slave IO Tthread关闭这段时间内的数据，会同步到slave中，不会出现数据丢失

第三节主主复制

1、简介

对于主从复制来说，其内部会存在一台master以及一台或多台slave。但有一个非常明显的问题，master是单点存在。一旦master宕机，则无法进行数据的写入。为了解决这个问题，可以使用主主复制架构。

在主主复制架构中，会存在两台master，没有slave。并且会对这两台master进行读写分离，两台master会进行相互的复制, 架构图如下:

在此架构中，两台master会进行双向复制，为什么这么做呢？因为假设现在负责写的master宕机了，那么写的工作则会交给之前负责读的服务器来完成，相当于它即负责写又负责读。等到原先负责写的master恢复了，其在继续负责写工作。反之亦然。因此才需要两者间进行双向复制。

缺点: 读请求的并发量过大，服务可能产生宕机, 主主复制架构直接使用的情况较少。

2、主主搭建

在 docker 中再各自创建一个实例：

docker run --name mysqlm2 \
-p 30000:3306 \
--privileged=true \
-it \
-e MYSQL_ROOT_PASSWORD=123456 \
-e MYSQL_USER=user \
-e MYSQL_PASSWORD=pass \
-v /home/mysql/docker-data/m2/conf:/etc/mysql/conf.d \
-v /home/mysql/docker-data/m2/data/:/var/lib/mysql \
-v /home/mysql/docker-data/m2/logs/:/var/log/mysql \
-d mysql:5.7

docker run --name mysqlm3 \
-p 40000:3306 \
--privileged=true \
-it \
-e MYSQL_ROOT_PASSWORD=123456 \
-e MYSQL_USER=user \
-e MYSQL_PASSWORD=pass \
-v /home/mysql/docker-data/m3/conf:/etc/mysql/conf.d \
-v /home/mysql/docker-data/m3/data/:/var/lib/mysql \
-v /home/mysql/docker-data/m3/logs/:/var/log/mysql \
-d mysql:5.7

/home/mysql/docker-data/m2/conf/my.cnf

# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html

[mysqld]
#
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
#
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
#
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M

character_set_server=utf8
init_connect='SET NAMES utf8'

# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

lower_case_table_names=1
#指定主机号，不允许出现重复
server-id=1341
#开启binlog
log-bin=mysql-bin
auto_increment_increment=2
auto_increment_offset=1

#rpl_semi_sync_master_enabled=1
#rpl_semi_sync_master_timeout=10000

/home/mysql/docker-data/m3/conf/my.cnf

# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html

[mysqld]
#
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
#
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
#
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M

character_set_server=utf8
init_connect='SET NAMES utf8'

# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

lower_case_table_names=1
#指定主机号，不允许出现重复
server-id=666
#开启binlog
log-bin=mysql-bin
auto_increment_increment=2
auto_increment_offset=1

#rpl_semi_sync_master_enabled=1
#rpl_semi_sync_master_timeout=10000

❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤

修改 my.cnf 后记得重启 MySQL 容器！

❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤

添加slave的相关配置, 虽然是主主模式,也要添加从用户（供从机访问的用户）。由于 m2 和 m3 都有可能作为从机访问对方（此时对方是主机），所以在 m2 和 m3 都需要创建 repluser 用户。

#添加权限
GRANT REPLICATION SLAVE,FILE,REPLICATION CLIENT ON *.* TO 'repluser'@'%' IDENTIFIED BY '123456';
#刷新权限
FLUSH PRIVILEGES;

#在m2/m3服务器上运行
show master status;

#执行主主关联（参考 m2 的状态设置 m3；参考 m3 的状态设置 m2）
#设置m2。因为m2要去连m3，所以这里要设置m3的IP地址和端口号。
change master to master_host='192.168.198.120',master_port=40000,master_user='repluser',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=1104;

#设置m3。因为m3要去连m2，所以这里要设置m2的IP地址和端口号。
change master to master_host='192.168.198.120',master_port=30000,master_user='repluser',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=1104;

#主主同步生效：也就是说m2和m3都需要执行
start slave;

查看master 129的进程列表：show processlist;

slave131的进程列表：show processlist;

第四节其他模式

1、级联复制

写请求的入口为一个，但当master向slave进行复制时，对于slave可以分为多层， master只要向其中两台slave复制即可，然后再由slave将其数据复制到后面更多的slave中。通过这种方式可以减轻master向slave复制的IO压力。但是这种架构会使slave的延迟会加大,架构如下图:

2、双主与级联复制(了解)

对于master在前面几种架构设计中，都存在单点问题，对于master单点问题的解决，可以采用当前的架构。

通过这种架构不仅可以解决master单点的问题，也可以解决slave延迟的问题, 架构图如下:

mysql

本博客目前大部分文章都是参考尚硅谷或者马士兵教育的学习资料！

MyCat入门配置详解和常见九种数据分片算法上一篇

MySQL-SQL优化下一篇

MySQL-复制架构

MySQL 复制架构

第一节 概述

1.1 数据拓展

1.2 常见架构

第二节 主从模式

1、主从简介

1.3.2 主从搭建

1.3.3 测试

[1]查看主从相关信息

[2]数据库同步测试

[3]表同步测试

[4]数据同步测试

[5]反向同步数据

[6]数据修复

1.4 主从复制原理

1.4.1 异步复制

1.4.2 半同步复制

1.4.3 异步复制实现

1.4.4 半同步复制实现

第三节 主主复制

1、简介

2、主主搭建

第四节 其他模式

1、级联复制

2、双主与级联复制(了解)

第一节概述

第二节主从模式

第三节主主复制

第四节其他模式