万字详解 MySQL MGR 高可用集群搭建

文章目录

• 1、MGR 前置介绍
• • 1.1、什么是 MGR
  • 1.2、MGR 优点
  • 1.3、MGR 缺点
  • 1.4、MGR 适用场景
• 2、MySQL MGR 搭建流程
• • 2.1、环境准备
  • 2.2、搭建流程
  • • 2.2.1、配置系统环境
    • 2.2.2、安装 MySQL
    • 2.2.3、配置启动 MySQL
    • 2.2.4、修改密码、设置主从同步
    • 2.2.5、安装 MGR 插件
• 3、MySQL MGR 故障转移
• • 3.1、主节点n0下线，重新选举
  • 3.2、新主节点n1下线，集群不可用
  • 3.3、恢复 MGR 集群
• 4、单主模式和多主模式
• • 4.1、模式介绍
  • • 4.1.1、单主模式
    • 4.1.2、多主模式
  • 4.2、模式切换
  • • 4.2.1、单主 ——> 多主
    • 4.2.2、多主 ——> 单主

1、MGR 前置介绍

阿里云RDS集群方案用的就是MGR模式！

1.1、什么是 MGR

• MGR（MySQL Group Replication）是MySQL 5.7.17版本诞生的，是MySQL自带的一个插件，可以灵活部署。
• 保证数据一致性又可以自动切换，具备故障检测功能、支持多节点写入。
• 集群是多个MySQL Server节点共同组成的分布式集群，每个Server都有完整的副本，它是基于ROW格式的二进制日志文件和GTID特性。

1.2、MGR 优点

• 强一致性：基于原生复制及paxos协议的组复制技术，并以插件的方式提供，提供一致数据安全保证。
• 高容错性：只要不是大多数节点坏掉就可以继续工作，有自动检测机制，当不同节点产生资源争用冲突时，不会出现错误，按照先到者优先原则进行处理，并且内置了自动化脑裂防护机制。
• 高扩展性：节点的新增和移除都是自动的，新节点加入后，会自动从其他节点上同步状态，直到新节点和其他节点保持一致，如果某节点被移除了，其他节点自动更新组信息，自动维护新的组信息。
• 高灵活性：有单主模式和多主模式。单主模式下，会自动选主，所有更新操作都在主上进行；多主模式下，所有server都可以同时处理更新操作。工作中优先使用单主模式！

1.3、MGR 缺点

• 仅支持InnoDB表，并且每张表一定要有一个主键，用于做write set的冲突检测。
• 必须打开GTID特性，二进制日志格式必须设置为ROW，用于选主与write set；主从状态信息存于表中（–master-info-repository=TABLE 、–relay-log-inforepository=TABLE），–log-slave-updates打开。
• MGR不支持大事务，事务大小最好不超过143MB，当事务过大，无法在5秒的时间内通过网络在组成员之间复制消息，则可能会怀疑成员失败了，然后将其驱逐出局。
• 目前一个MGR集群最多支持9个节点。
• 不支持外键于save point特性，无法做全局间的约束检测与部分事务回滚。
• 二进制日志不支持Binlog Event Checksum。

1.4、MGR 适用场景

• 金融交易、重要数据存储、对主从一致性要求高的场景。
• 核心数据总量未过亿。
• 读多写少，如：互联网电商。

2、MySQL MGR 搭建流程

2.1、环境准备

本次集群搭建，我使用3台阿里云ECS服务器（CentOS 7.9，2核2G，20G硬盘），每台服务器都分配公网IP，开放安全组：22（SSH）、3306（MySQL）、24901（MGR）。我的服务器配置如下：

Master服务器（hostname:n0)：172.21.180.98
Slave服务器1（hostname:n1)：172.21.180.99
Slave服务器2（hostname:n2)：172.21.180.100

2.2、搭建流程

2.2.1、配置系统环境

将Hosts文件写入n0/n1/n2节点与内网IP对应关系，后面配置采用域名访问：

# 3台服务器都执行
sudo cat > /etc/hosts <<-'EOF'
172.21.180.98 n0
172.21.180.99 n1
172.21.180.100 n2
EOF

分别为三台服务器依次设置主机名称，三台服务器执行命令：

# 第1台服务器
hostnamectl set-hostname n0# 第2台服务器
hostnamectl set-hostname n1# 第3台服务器
hostnamectl set-hostname n2

2.2.2、安装 MySQL

下载 MySQL 官方YUM仓库源（这个并不是安装MySQL）：

# 3台服务器都执行
cd /home/
wget --no-check-certificate https://repo.mysql.com/mysql80-community-release-el7-5.noarch.rpm
yum localinstall -y mysql80-community-release-el7-5.noarch.rpm

修改仓库配置，将下图中gpgcheck置为0：

vi /etc/yum.repos.d/mysql-community.repo

安装 MySQL 8.0.26：

# 3台服务器都执行
yum install -y mysql-community-server-8.0.26

2.2.3、配置启动 MySQL

主节点n0执行：直接CV就行，不要墨迹！

# 修改 MySQL 配置
sudo cat >> /etc/my.cnf <<-'EOF'# 使用mysql_native_password密码策略，防止navicat连不上mysql8
default_authentication_plugin=mysql_native_password
# 设置MySQL插件目录：MGR基于插件，必须设置插件路径
plugin_dir=/usr/lib64/mysql/plugin
# 服务器编号，Master=1
server_id=1
# 开启binlog的GTID模式（MGR强制要求）
gtid_mode=ON
# 开启后MySQL只允许能够保障事务安全，并且能够被日志记录的SQL语句被执行
enforce_gtid_consistency=ON
# 关闭binlog校验（MGR强制要求）
binlog_checksum=NONE# 定义用于事务期间哈希写入提取的算法，组复制模式下必须设置为 XXHASH64。
transaction_write_set_extraction=XXHASH64
# 确定组复制恢复时是否应该应用 SSL，通常设置为“开”，但默认设置为“关”。
loose-group_replication_recovery_use_ssl=ON
# 服务器实例所在复制组名称，必须是有效的 UUID，所有节点必须相同。
loose-group_replication_group_name="bbbbbbbb-bbbb-cccc-dddd-eeeeeeeeeeee"
# 确定服务器是否应该在服务器启动期间启动组复制。
loose-group_replication_start_on_boot=OFF# 为复制组中其他的成员提供的网络地址，指定为“主机:端口”的格式化字符串。
# 很多人想当然认为端口应该是3306，起始不然，MGR需要开启新端口24901同步交换
# 所以这里不要写错，同时，前面我们配置了hosts文件做了主机名与IP的映射，这里直接写主机名即可
loose-group_replication_local_address="n0:24901"# 用于建立新成员到组的连接组成员列表。
# 这个列表指定为由分隔号间隔的组成员网络地址列表，类似 host1:port1、host2:port2 的格式。
# 同样采用n0~n2的主机名替代
loose-group_replication_group_seeds="n0:24901,n1:24901,n2:24901"# 配置此服务器为引导组，这个选项必须仅在一台服务器上设置，
# 并且仅当第一次启动组或者重新启动整个组时。成功引导组启动后，将此选项设置为关闭。
loose-group_replication_bootstrap_group=OFF
EOF

从节点n1执行：直接CV就行，不要墨迹！

sudo cat >> /etc/my.cnf <<-'EOF'
default_authentication_plugin=mysql_native_password
plugin_dir=/usr/lib64/mysql/plugin# 设置唯一的服务器编号
server_id=2
gtid_mode=ON
enforce_gtid_consistency=ON
binlog_checksum=NONE# 这个参数决定primary节点到secondary节点的请求是否为基于 RSA 密钥对的密码交换所需的公钥
loose-group_replication_recovery_get_public_key=ON
loose-group_replication_recovery_use_ssl=ON
loose-group_replication_group_name="bbbbbbbb-bbbb-cccc-dddd-eeeeeeeeeeee"
loose-group_replication_start_on_boot=OFF# 设置本机地址n1:24901
loose-group_replication_local_address="n1:24901"
loose-group_replication_group_seeds="n0:24901,n1:24901,n2:24901"
loose-group_replication_bootstrap_group=OFF
EOF

从节点n2执行：直接CV就行，不要墨迹！

sudo cat >> /etc/my.cnf <<-'EOF'
default_authentication_plugin=mysql_native_password
plugin_dir=/usr/lib64/mysql/plugin#设置唯一的服务器编号
server_id=3
gtid_mode=ON
enforce_gtid_consistency=ON
binlog_checksum=NONE#这个参数决定primary节点到secondary节点的请求是否为基于 RSA 密钥对的密码交换所需的公钥
loose-group_replication_recovery_get_public_key=ON
loose-group_replication_recovery_use_ssl=ON
loose-group_replication_group_name="bbbbbbbb-bbbb-cccc-dddd-eeeeeeeeeeee"
loose-group_replication_start_on_boot=OFF#设置本机地址n2:24901
loose-group_replication_local_address="n2:24901"
loose-group_replication_group_seeds="n0:24901,n1:24901,n2:24901"
loose-group_replication_bootstrap_group=OFF
EOF

三台服务器，依次启动 MySQL

# 3台服务器都执行
systemctl start mysqld

2.2.4、修改密码、设置主从同步

三台服务器，依次通过该命令，获取数据库连接密码：

# 获取数据库密码
grep 'temporary password' /var/log/mysqld.log

三台服务器，连接到数据库控制台中：

# 连接数据库
mysql -uroot -p'密码'

三台数据库控制台中，都执行下述命令（3台服务器都执行）：

# 修改root密码为asAS123456!
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'asAS123456!';
# 创建rpl_user账户，此账户用于实现主从数据同步
CREATE USER rpl_user@'%' IDENTIFIED BY 'asAS123456!';
# 赋予主从同步权限
GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';# 创建一个远程连接用户，这个用户用在Navcate、JDBC登录的时候，直接用root登录不好
create user 'remote'@'%' identified with mysql_native_password by 'asAS123456!';
# 为remote用户赋予所有数据库资源的访问权限，熟悉grant的小伙伴可以自己调整
grant all privileges on *.* to remote@'%';# 让刚才的修改生效
FLUSH PRIVILEGES;# 删除已产生的Binlog
# 一定要RESET MASTER，它会删除刚才已产生的Binlog
# 因为刚才Binglog包含创建用户这种高权限操作，用于主从同步的rpl_user账户是没有权限执行的
# 这就会导致RelayLog重放无法正确执行，导致从属服务器卡死在"RECEVERING"状态
# 利用RESET MASTER删除这些无法执行的binlog，就没问题了
RESET MASTER;

2.2.5、安装 MGR 插件

在三台服务器的MySQL控制台中，安装MGR插件，执行命令：

# 3台服务器都执行
INSTALL PLUGIN group_replication SONAME 'group_replication.so';

在主服务器的MySQL控制台上，执行下述命令：

# 注意：只在主服务器上运行
# 我们在 primary.cnf 配置文件中把 group_replication_bootstrap_group 参数设置成 OFF
# 在 primary 服务器启动时并不会直接启动复制组，通过下面的命令动态的开启复制组是我们的集群更安全
SET GLOBAL group_replication_bootstrap_group=ON;
START GROUP_REPLICATION;
SET GLOBAL group_replication_bootstrap_group=OFF;

在两个从服务器MySQL控制台上，执行下述命令：

# 指定主从账户与指定通信频道
CHANGE MASTER TO MASTER_USER="rpl_user", MASTER_PASSWORD="asAS123456!" FOR CHANNEL 'group_replication_recovery';# 开启组网数据同步
START GROUP_REPLICATION;

当两个从节点都运行完毕后，运行下面SQL结果进行验证：

SELECT * FROM performance_schema.replication_group_members;

出现以下情况，每个节点都是ONLINE状态，说明集群搭建成功：

3、MySQL MGR 故障转移

上面已经将MySQL MGR集群搭建完毕，并且节点都是ONLINE状态。

3.1、主节点n0下线，重新选举

首先，在主服务器n0上执行停止mysql命令，如下：

systemctl stop mysqld;

此时，在从节点n1查看集群状态发现，n1被选举为主节点：

这是由于MGR集群选举策略为：

• 优先低版本节点
• 版本一样，优先权重大的节点
• 版本与权重一样，按照 server uuid 的字母顺序选主

在n1从节点上，通过命令查看故障转移日志：

# 查看MySQL日志
tail -n 50 /var/log/mysqld.log

n1日志解析如下：

# n0:3306（主节点n0）从组中被移除掉
[Warning] [MY-011499] [Repl] Plugin group_replication reported: 'Members removed from the group: n0:3306'# 重新选举新的 Primary 主节点
[System] [MY-011500] [Repl] Plugin group_replication reported: 'Primary server with address n0:3306 left the group. Electing new Primary.'# n1:3306（从节点n1）被选举为主节点，执行之前未完成的事务处理
[System] [MY-011507] [Repl] Plugin group_replication reported: 'A new primary with address n1:3306 was elected. The new primary will execute all previous group transactions before allowing writes.'# 组成员目前只剩 n1:3306, n2:3306
[System] [MY-011503] [Repl] Plugin group_replication reported: 'Group membership changed to n1:3306, n2:3306 on view 17172171443362674:4.'# 关闭 n1 节点的只读状态
[System] [MY-013731] [Repl] Plugin group_replication reported: 'The member action "mysql_disable_super_read_only_if_primary" for event "AFTER_PRIMARY_ELECTION" with priority "1" will be run.'# 设置 super_read_only=OFF
[System] [MY-011566] [Repl] Plugin group_replication reported: 'Setting super_read_only=OFF.'# 当前节点（n1）以主节点身份工作
[System] [MY-011510] [Repl] Plugin group_replication reported: 'This server is working as primary member.'

在n2从节点上，通过命令查看故障转移日志：

# 查看MySQL日志
tail -n 50 /var/log/mysqld.log

n2日志解析如下：

# n0:3306（主节点n0）从组中被移除掉
[Warning] [MY-011499] [Repl] Plugin group_replication reported: 'Members removed from the group: n0:3306'# 重新选举新的 Primary 主节点
[System] [MY-011500] [Repl] Plugin group_replication reported: 'Primary server with address n0:3306 left the group. Electing new Primary.'# n1:3306（从节点n1）被选举为主节点，执行之前未完成的事务处理
[System] [MY-011507] [Repl] Plugin group_replication reported: 'A new primary with address n1:3306 was elected. The new primary will execute all previous group transactions before allowing writes.'# 组成员目前只剩 n1:3306, n2:3306
[System] [MY-011503] [Repl] Plugin group_replication reported: 'Group membership changed to n1:3306, n2:3306 on view 17172171443362674:4.'# 当前节点（n2）作为主节点（n1）的从成员身份工作
[System] [MY-011511] [Repl] Plugin group_replication reported: 'This server is working as secondary member with primary member address n1:3306.'

3.2、新主节点n1下线，集群不可用

当在新晋升的主节点n1上执行停止MySQL操作：

systemctl stop mysqld;

此时，在n2上通过命令查看发现，n1主节点尽管已经下线，但n2查看集群状态时还在显示，因为只有1个节点的情况下，少于n/2+1的规则，导致整体 MGR 集群失效，n2节点无法产生重新选举，同时n2的日志也不会有任何新内容产生：

SELECT * FROM performance_schema.replication_group_members;

3.3、恢复 MGR 集群

恢复流程很简单，先将三台服务器的MySQL各自重启：

# 3台服务器都执行
systemctl restart mysqld;

然后重复执行 2.2.4 ~ 2.2.5 章节流程即可恢复 MGR 集群。

4、单主模式和多主模式

4.1、模式介绍

4.1.1、单主模式

在单主模式下, 组复制具有自动选主功能，每次只有一个 server成员可以作为主节点。

单主模式 group 内只有一台节点可写可读，其他节点只可以读。对于group的部署，需要先跑起primary主节点，然后再跑起其他的节点，并把这些节点加进group。其他的节点就会自动同步primary节点上面的变化，然后将自己设置为只读模式。

当primary主节点意外宕机或者下线，在满足大多数节点存活的情况下，group内部发起选举，选出下一个可用的读节点，提升为primary节点。

4.1.2、多主模式

在多主模式下，所有的 MySQL 节点都可以同时接受读写操作。group内的所有节点都是primary主节点，同时可以进行读写操作，并且数据是最终一致的。

4.2、模式切换

之前我们搭建的 MySQL MGR 集群就是单主模式（默认），那么如何切换为多主模式呢？按照如下操作进行。

4.2.1、单主 ——> 多主

从 n0 ~ n2 停止组复制，开启多主模式（3个节点都执行）：

# 停止组复制
stop group_replication;# 是否启用单主模式，默认ON，OFF代表多主
set global group_replication_single_primary_mode=OFF;# 是否开启条件检查，因为多主的约束更为严格，不符合要求的直接拒绝
# 不支持外键的级联操作
# 不支持“串行化Serializable”
set global group_replication_enforce_update_everywhere_checks=ON;

在 n0 主节点启用组复制：

# 只在 n0 上执行
SET GLOBAL group_replication_bootstrap_group=ON;
START GROUP_REPLICATION;
SET GLOBAL group_replication_bootstrap_group=OFF;

在 n1，n2 节点上启用组复制：

# 只在 n1, n2 上执行
START GROUP_REPLICATION;

此时，可以看到三台MySQL都是主节点：

SELECT * FROM performance_schema.replication_group_members;

4.2.2、多主 ——> 单主

从 n0 ~ n2 停止组复制，开启多主模式（3个节点都执行）：

# 停止组复制
stop group_replication;# 是否开启条件检查，因为多主的约束更为严格，不符合要求的直接拒绝
# 不支持外键的级联操作
# 不支持“串行化Serializable”
set global group_replication_enforce_update_everywhere_checks=OFF;# 是否启用单主模式，默认ON，OFF代表多主
set global group_replication_single_primary_mode=ON;

在 n0 主节点启用组复制：

# 只在 n0 上执行
SET GLOBAL group_replication_bootstrap_group=ON;
START GROUP_REPLICATION;
SET GLOBAL group_replication_bootstrap_group=OFF;

在 n1，n2 节点上启用组复制：

# 只在 n1, n2 上执行
START GROUP_REPLICATION;

此时，可以看到三台MySQL变成了主从模式：

SELECT * FROM performance_schema.replication_group_members;