在CentOS8下搭建PXC集群-创新互联-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

在CentOS8下搭建PXC集群-创新互联

PXC简介

PXC是Percona XtraDB Cluster的缩写,是 Percona 公司出品的免费MySQL集群产品。PXC的作用是通过mysql自带的Galera集群技术,将不同的mysql实例连接起来,实现多主集群。在PXC集群中每个mysql节点都是可读可写的,也就是主从概念中的主节点,不存在只读的节点。

成都创新互联公司专注于企业全网营销推广、网站重做改版、凤冈网站定制设计、自适应品牌网站建设、HTML5商城开发、集团公司官网建设、外贸网站制作、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为凤冈等各大城市提供网站开发制作服务。

PXC实际上是基于Galera的面向OLTP的多主同步复制插件,PXC主要用于解决MySQL集群中数据同步强一性问题。PXC可以集群任何mysql的衍生版本,例如MariaDB和Percona Server。由于Percona Server的性能最接近于mysql企业版,性能相对于标准版的mysql有显著的提升,并且对mysql基本兼容。所以在搭建PXC集群时,通常建议基于Percona Server进行搭建。

关于数据库集群方案的选择可以参考:

  • 浅谈数据库集群方案

PXC的特点

  • 同步复制,事务在所有集群节点要么全部提交完成,要么全部失败
  • 多主复制,不存在主从角色的划分,可以在任意一个节点进行读/写操作
  • 数据同步的强一致性,所有节点的数据是实时一致的
  • PXC集群节点越多,数据同步的速度就越慢,所以PXC集群的规模不能太大
  • PXC集群数据同步的速度取决于配置最低的节点,所以PXC集群中所有节点的硬件配置尽量保持一致
  • PXC集群只支持InnoDB引擎,所以只有InnoDB引擎的数据才会被同步

安装PXC并组建集群

环境准备

环境版本说明:

  • VMware Workstation Pro 15.5
  • Percona XtraDB Cluster 5.7
  • CentOS 8

MySQL有几个常见的衍生版,Percona Server就是其一。这里选择Percona Server是因为它是最接近于企业版的MySQL。各衍生版的对比图如下:
在CentOS8下搭建PXC集群

本文的PXC集群设计如图:
在CentOS8下搭建PXC集群

  • Tips:实际上最小的PXC集群是两个节点的,但课程中设计为三个节点。这是因为PXC集群为了防止脑裂,在一半以上的节点因意外宕机无法访问时,PXC集群就会自动停止运行。所以如果设计为两个节点,其中一个节点挂掉了就满足半数以上节点无法访问,那么集群就会停止运行,而另一个节点也就无法使用了。这样的容灾性太差,所以这里设计为至少三个节点,以提高PXC集群的可用性。

根据该图,我们需要创建三个虚拟机来搭建一个三节点的PXC集群:
在CentOS8下搭建PXC集群

节点说明:

Node Host IP
Node1 PXC-Node1 192.168.190.132
Node2 PXC-Node2 192.168.190.133
Node3 PXC-Node3 192.168.190.134

每个虚拟机的配置如下图:
在CentOS8下搭建PXC集群

关于 PXC 集群是以牺牲性能来保证数据的强一致性问题。PXC 集群中的节点越多就意味着数据同步的时间就越长,那么应该用几台数据库服务器来做集群最合适,相对来说算是能达到一个性能上最优的结果呢 ?

通常来说不超过15台节点组成一个PXC集群,性能上很好,多了就不行。然后这个PXC集群作为一个分片,MyCat上多设置几个分片,就能应对数据切分和并发访问了


系统准备

有些 CentOS 版本默认捆绑了mariadb-libs,在安装PXC之前需要先将其卸载:

[root@PXC-Node1 ~]# yum -y remove mari*

PXC集群要使用四个端口:

端口 描述
3306 MySQL服务端口
4444 请求全量同步(SST)端口
4567 数据库节点之间的通信端口
4568 请求增量同步(IST)端口

所以如果系统启用了防火墙则需要开放这些端口:

[root@PXC-Node1 ~]# firewall-cmd --zone=public --add-port=3306/tcp --permanent
[root@PXC-Node1 ~]# firewall-cmd --zone=public --add-port=4444/tcp --permanent
[root@PXC-Node1 ~]# firewall-cmd --zone=public --add-port=4567/tcp --permanent
[root@PXC-Node1 ~]# firewall-cmd --zone=public --add-port=4568/tcp --permanent
[root@PXC-Node1 ~]# firewall-cmd --reload

安装PXC

先上官方文档:

  • Installing Percona XtraDB Cluster

PXC有两种较为简单的安装方式,一是到官网下载rpm包到系统本地进行安装,二是使用官方提供的yum仓库进行在线安装。本文演示的是本地安装这种方式,首先打开如下网址:

  • https://www.percona.com/downloads/Percona-XtraDB-Cluster-LATEST/

选择相应的版本后,复制下载链接:
在CentOS8下搭建PXC集群

然后到CentOS上使用wget命令进行下载,如下示例:

[root@PXC-Node1 ~]# cd /usr/local/src
[root@PXC-Node1 /usr/local/src]# wget https://www.percona.com/downloads/Percona-XtraDB-Cluster-LATEST/Percona-XtraDB-Cluster-5.7.28-31.41/binary/redhat/8/x86_64/Percona-XtraDB-Cluster-5.7.28-31.41-r514-el8-x86_64-bundle.tar

创建存放rpm文件的目录,并将下载好的PXC安装包解压缩到新建的目录中:

[root@PXC-Node1 /usr/local/src]# mkdir pxc-rpms
[root@PXC-Node1 /usr/local/src]# tar -xvf Percona-XtraDB-Cluster-5.7.28-31.41-r514-el8-x86_64-bundle.tar -C pxc-rpms
[root@PXC-Node1 /usr/local/src]# ls pxc-rpms
Percona-XtraDB-Cluster-57-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-57-debugsource-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-client-57-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-client-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-devel-57-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-full-57-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-garbd-57-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-garbd-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-server-57-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-server-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-shared-57-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-shared-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-test-57-5.7.28-31.41.1.el8.x86_64.rpm
Percona-XtraDB-Cluster-test-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpm

另外,PXC的安装需要依赖于qpresspercona-xtrabackup-24,可以在percona提供的仓库中获取到相应的rpm包下载链接。然后进入pxc-rpms目录下载这两个组件的rpm包,如下:

[root@PXC-Node1 /usr/local/src]# cd pxc-rpms
[root@PXC-Node1 /usr/local/src/pxc-rpms]# wget https://repo.percona.com/release/8/RPMS/x86_64/qpress-11-1.el8.x86_64.rpm
[root@PXC-Node1 /usr/local/src/pxc-rpms]# wget https://repo.percona.com/release/8/RPMS/x86_64/percona-xtrabackup-24-2.4.18-1.el8.x86_64.rpm

完成以上步骤后,现在就可以通过yum命令以本地形式安装PXC了:

[root@PXC-Node1 /usr/local/src/pxc-rpms]# yum localinstall -y *.rpm

成功安装后,系统中就会有mysql的相关命令。如下,能正常查看到版本信息代表已安装成功:

[root@PXC-Node1 /usr/local/src/pxc-rpms]# mysql --version
mysql  Ver 14.14 Distrib 5.7.28-31, for Linux (x86_64) using  7.0
[root@PXC-Node1 /usr/local/src/pxc-rpms]#

配置PXC集群

安装后需要进行一些配置才能启动集群,PXC的配置文件默认位于/etc/percona-xtradb-cluster.conf.d/目录下,/etc/my.cnf文件只是对其引用:

[root@PXC-Node1 ~]# cd /etc/percona-xtradb-cluster.conf.d/
[root@PXC-Node1 /etc/percona-xtradb-cluster.conf.d]# ll
总用量 12
-rw-r--r-- 1 root root  381 12月 13 17:19 mysqld.cnf  # mysql相关配置
-rw-r--r-- 1 root root  440 12月 13 17:19 mysqld_safe.cnf  # mysqld_safe相关配置
-rw-r--r-- 1 root root 1066 12月 13 17:19 wsrep.cnf  # PXC集群的相关配置

mysqld.cnf文件中添加一些字符集等基本配置:

[root@PXC-Node1 /etc/percona-xtradb-cluster.conf.d]# vim mysqld.cnf
[mysqld]
...

# 设置字符集
character_set_server=utf8
# 设置监听的ip
bind-address=0.0.0.0
# 跳过DNS解析
skip-name-resolve

然后是配置PXC集群,修改wsrep.cnf文件中的如下配置项:

[root@PXC-Node1 /etc/percona-xtradb-cluster.conf.d]# vim wsrep.cnf
[mysqld]
# PXC集群中MySQL实例的唯一ID,不能重复,且必须是数字
server-id=1
# Galera库文件的路径
wsrep_provider=/usr/lib64/galera3/libgalera_smm.so
# PXC集群的名称
wsrep_cluster_name=pxc-cluster
# 集群中所有节点的ip
wsrep_cluster_address=gcomm://192.168.190.132,192.168.190.133,192.168.190.134
# 当前节点的名称
wsrep_node_name=pxc-node-01
# 当前节点的IP
wsrep_node_address=192.168.190.132
# 同步方法(mysqldump、 rsync、 xtrabackup)
wsrep_sst_method=xtrabackup-v2
# 同步时使用的帐户密码
wsrep_sst_auth=admin:Abc_123456
# 采用严格的同步模式
pxc_strict_mode=ENFORCING
# 基于ROW复制(安全可靠)
binlog_format=ROW
# 默认引擎
default_storage_engine=InnoDB
# 主键自增长不锁表
innodb_autoinc_lock_mode=2

启动PXC集群

到此为止,我们在PXC-Node1这台虚拟机上完成了PXC的安装及配置。然后到其他两个节点上完成同样的步骤即可,这里就不再重复了。

当所有的节点都准备完成后,使用如下命令启动PXC集群。注意这条的命令是用于启动首节点的,初次启动集群时首节点可以是这三个节点中的任意一个,这里我采用PXC-Node1作为首节点。故在该虚拟机下执行这条命令:

[root@PXC-Node1 ~]# systemctl start mysql@bootstrap.service

而其他节点只需要正常启动MySQL服务即可,启动之后会根据wsrep.cnf文件中的配置自动加入集群中:

[root@PXC-Node2 ~]# systemctl start mysqld

禁用Percona Server的开机自启动:

[root@localhost ~]# systemctl disable mysqld
Removed /etc/systemd/system/multi-user.target.wants/mysqld.service.
Removed /etc/systemd/system/mysql.service.
[root@localhost ~]#
  • Tips:之所以要禁用开机自启,是因为在PXC集群中,当一个节点宕机重启后,它会随机与一个PXC节点进行数据同步。如果该节点宕机时间过长,那么需要同步的数据量就会比较大。当发生大量数据同步时,PXC集群会限制其他的写入操作,直到数据全部同步成功。所以长时间宕机之后,正确的做法是不要马上启动节点,而是先从其他节点拷贝数据文件到该节点中,然后再进行启动。这样需要同步的数据就会少很多,不会引起长时间的限速。

创建数据库账户

接着修改root账户的默认密码。我们可以在mysql的日志文件中找到初始的默认密码。下图红框标注的就是默认密码:
在CentOS8下搭建PXC集群

  • Tips:默认密码只有在首次启动MySQL服务后才会生成

复制默认密码,然后使用mysql_secure_installation命令修改root账户的密码:

[root@localhost ~]# mysql_secure_installation

为了安全起见,root账户一般是不允许远程登录的,所以我们需要单独创建一个用于远程访问的数据库账户。这个账户也是用于PXC集群同步数据的账户,与wsrep.cnf文件中的wsrep_sst_auth配置项所对应:

[root@localhost ~]# mysql -uroot -p
mysql> create user 'admin'@'%' identified by 'Abc_123456';
mysql> grant all privileges on *.* to 'admin'@'%';
mysql> flush privileges;

创建完账户后,使用客户端工具进行远程连接测试看看是否能正常连接成功:
在CentOS8下搭建PXC集群

到此为止,我们就算是完成PXC集群的搭建了。现在应该是已经可以看到PXC集群的同步效果的,因为上面修改root密码以及新建账户的操作都会被同步到其他两个节点上。也就是说,此时其他两个节点的root账户密码已经是修改后的密码,并且也会有一个admin账户。关于这一点可以自行验证一下。

除此之外,我们也可以使用如下语句来确认集群的状态信息:

show status like 'wsrep_cluster%';

执行结果:
在CentOS8下搭建PXC集群

变量说明:

  • wsrep_cluster_weight:该节点在集群中的权重值
  • wsrep_cluster_conf_id:集群节点关系改变的次数(每次增加/删除都会+1)
  • wsrep_cluster_size:集群中的节点个数
  • wsrep_cluster_state_uuid:集群当前状态的UUID,这是集群当前状态及其所经历的更改序列的唯一标识符。也用于比较两个或多个节点是否处于同一集群,若两个节点的该变量值一致就代表处于一个集群,如果该值不一致则表示不处于同一集群
  • wsrep_cluster_status:集群的目前状态

验证集群的数据同步

1、验证创建数据库是否能同步

在节点1中创建一个test库:
在CentOS8下搭建PXC集群

创建完成后,点击其他节点也应能看到test这个库:
在CentOS8下搭建PXC集群

2、验证创建数据表是否能同步

在节点1中的test库里创建一张student表:
在CentOS8下搭建PXC集群

创建完成后,在其他节点也应能看到这张student表:
在CentOS8下搭建PXC集群

3、验证表数据是否能同步

往节点1中的student表里插入一条数据:
在CentOS8下搭建PXC集群

此时其他节点中也应能看到这条数据:
在CentOS8下搭建PXC集群


集群的状态参数说明

集群的状态参数可以通过SQL语句进行查询的,如下:

show status like '%wsrep%';

由于查询出来的状态参数变量非常的多,这里针对一些常用的进行说明。PXC集群参数可以分为以下几类:

  • 队列相关
    • wsrep_local_send_queue:发送队列的长度
    • wsrep_local_send_queue_max:发送队列的大长度
    • wsrep_local_send_queue_min:发送队列的最小长度
    • wsrep_local_send_queue_avg:发送队列的平均长度
    • wsrep_local_recv_queue:接收队列的长度
    • wsrep_local_recv_queue_max:接收队列的大长度
    • wsrep_local_recv_queue_min:接收队列的最小长度
    • wsrep_local_recv_queue_avg:接收队列的平均长度
  • 复制相关
    • wsrep_replicated:同步数据到其他节点的次数
    • wsrep_replicated_bytes:同步到其他节点的数据总量,单位字节
    • wsrep_received:接收到其他节点同步请求的次数
    • wsrep_received_bytes:接收到其他节点的同步数据总量,单位字节
    • wsrep_last_applied:同步应用次数
    • wsrep_last_committed:事务提交次数
  • 流控相关
    • wsrep_flow_control_paused_ns:流控暂停状态下花费的总时间(纳秒)
    • wsrep_flow_control_paused:流控暂停时间的占比(0 ~ 1)
    • wsrep_flow_control_sent:发送的流控暂停事件的数量,即当前节点触发流控的次数
    • wsrep_flow_control_recv:接收的流控暂停事件的数量
    • wsrep_flow_control_interval:流控的下限和上限。上限是队列中允许的大请求数。如果队列达到上限,则拒绝新的请求,即触发流控。当处理现有请求时,队列会减少,一旦到达下限,将再次允许新的请求,即解除流控
    • wsrep_flow_control_status:流控的开关状态(开启:ON,关闭:OFF)
  • 事务相关
    • wsrep_cert_deps_distance:事务执行的并发数
    • wsrep_apply_oooe:接收队列中事务的占比
    • wsrep_apply_oool:接收队列中事务乱序执行的频率
    • wsrep_apply_window:接收队列中事务的平均数量
    • wsrep_commit_oooe:发送队列中事务的占比
    • wsrep_commit_oool:无任何意义(不存在本地乱序提交)
    • wsrep_commit_window:发送队列中事务的平均数量
  • 状态相关
    • wsrep_local_state_comment:节点的当前状态
    • wsrep_cluster_status:集群的当前状态
    • wsrep_connected:节点是否连接到集群
    • wsrep_ready集群是否正常工作
    • wsrep_cluster_size:集群中的节点个数
    • wsrep_desync_count:延时节点的数量
    • wsrep_incoming_addresses:集群中所有节点的IP地址

PXC节点状态图:
在CentOS8下搭建PXC集群

  • OPEN:节点启动成功
  • PRIMARY:节点成功加入集群
  • JOINER:与其他节点同步数据
  • JOINED:与其他节点同步数据成功
  • SYNCED:与集群同步完成,可以对外提供服务
  • DONER:接收其他节点的全量数据同步,处于不可用

PXC集群状态图:
在CentOS8下搭建PXC集群

  • PRIMARY:正常状态
  • NON_PRIMARY:集群发生脑裂
  • DISCONNECTED:集群处于无法连接状态

官方文档:

  • Index of wsrep status variables
  • Galera Status Variables

关于PXC节点的上线与下线

1、PXC节点的安全下线姿势

节点是怎么启动的,就使用对应的命令去关闭即可

  • 首节点示例:
    • 启动首节点用的命令是:systemctl start mysql@bootstrap.service
    • 那么对应的关闭命令就是:systemctl stop mysql@bootstrap.service
  • 其他节点示例:
    • 启动其他节点的命令是:systemctl start mysqld
    • 那么对应的关闭命令就是:systemctl stop mysqld

2、如果所有PXC节点都是安全下线的,那么在启动集群时,就需要先启动最后下线的节点

初次启动集群时可以将任意一个节点作为首节点启动。但如果是一个已经启动过的集群,那么当该集群下线再上线时,就需要将最后下线的节点作为首节点来启动。其实关于某个节点是否能作为首节点启动,可以通过查看 grastate.dat 文件得知:

[root@PXC-Node1 ~]# cat /var/lib/mysql/grastate.dat 
# GALERA saved state
version: 2.1
uuid:    2c915504-39ac-11ea-bba7-a294386c4285
seqno:   -1
safe_to_bootstrap: 0
[root@PXC-Node1 ~]#
  • 说明:safe_to_bootstrap的值为0时表示不能作为首节点启动,为1时表示可以作为首节点启动。PXC集群中最后一个下线的节点就会将safe_to_bootstrap的值改为1,下次启动集群时就需要将该节点作为首节点启动。这是因为最后一个下线的节点数据是最新的。将其作为首节点启动,然后让其他节点与该节点进行数据同步,这样才能保证集群中的数据是最新的。否则,可能会导致集群中的数据是某个时间点之前的旧数据。

3、如果PXC节点都是意外退出的,而且不是在同一时间退出的情况

在本文开头提到过,PXC集群中一半以上的节点因意外宕机而无法访问时,PXC集群就会停止运行。但如果这些PXC节点是以安全下线的方式退出,则不会引发集群自动停止运行的问题,只会缩小集群的规模。只有意外下线一半以上节点时集群才会自动停止,意外下线的情况包括:

  • 宕机、挂起、关机、重启、断电、断网等等,反正就是没有使用相应的停止命令安全下线节点都属于意外下线

只要PXC集群中的节点不是同时意外退出的,那么当集群还剩一个节点时,该节点就会自动将grastate.dat文件中的safe_to_bootstrap值改为1。所以在重启集群时,也是先启动最后一个退出的节点。


4、如果PXC节点都是同时意外退出的,则需要修改grastate.dat文件

当集群中所有节点都是在同一时间因意外情况而退出,那么此时所有节点的safe_to_bootstrap都为0,因为没有一个节点来得及去修改safe_to_bootstrap的值。当所有节点的safe_to_bootstrap均为0时,PXC集群是无法启动的。

在这种情况下我们就只能手动选择一个节点,将safe_to_bootstrap修改为1,然后将该节点作为首节点进行启动:

[root@PXC-Node1 ~]# vim /var/lib/mysql/grastate.dat 
...
safe_to_bootstrap: 1
[root@PXC-Node1 ~]# systemctl start mysql@bootstrap.service

接着再依次启动其他节点即可:

[root@PXC-Node2 ~]# systemctl start mysqld

5、如果集群中还有可运行的节点,那么其他下线的节点只需要按普通节点上线即可

[root@PXC-Node2 ~]# systemctl start mysqld

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章题目:在CentOS8下搭建PXC集群-创新互联
链接地址:http://kswsj.cn/article/dodihi.html

其他资讯