mysql双活技术怎么选 数据库双活方式有几种-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

mysql双活技术怎么选 数据库双活方式有几种

mysql双主配置-双主带来的管理思考

mysql双主配置很简单,似乎大家都只关心他的安装和部署,大家可以用他来做双活的方案,并没有深刻的思考过生产环境后续管理的风险和如何规避这些问题。

创新互联是专业的蒲县网站建设公司,蒲县接单;提供做网站、成都做网站,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行蒲县网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

log-slave-updates = true

auto_increment_offset = 1 #另外一个主B是2,其他一样。

auto_increment_increment = 2

replicate-ignore-db = mysql

replicate-ignore-db = sys

replicate-ignore-db = information_schema

replicate-ignore-db = performance_schema

replicate-ignore-db = undolog

replicate_wild_ignore_table = mysql.%

replicate_wild_ignore_table = sys.%

replicate_wild_ignore_table = information_schema.%

replicate_wild_ignore_table = performance_schema.%

replicate_wild_ignore_table = undolog.%

双主如果一边更新表结构,一边在写入,即使你认为你的的sql没有问题。但是mysqlbinlog的写入日志不是这样的,比如row格式,需要回放的日志如下下面,你修改表结构之前是可以插入的,中间查多一列的话,你的列对不上了,导致1167错误。目前有两种办法可以规避这个问题:

如果忽略了一些库,比如mysql的库,创建账号的时候,就需要两边创建。

技术选型,mysql和pg怎么选

主要是数据中心的同步问题,一般双活都要跨机房、跨城市。数据同步是大问题。 而且现在也没有几家公司的mysql集群是双活架构

3.双活问题收集

2.问题列表

问题提出者进度结论备注

问题提出者进度结论备注

中台只需要业务支持还是存储也要部署HNC 汪晓明 待讨论专项:核心链路梳理

两轮车hnc双活对成本的要求是如何的 王勇 已完成

两轮车线上部署方案以及打包脚本改造 圆圆 待讨论专项:核心链路梳理

两轮车所有外部服务+接口依赖梳理 圆圆 待讨论专项:核心链路梳理

备机房如果只保证主链路,如何降低业务开发人员的感知和复杂度 田玉磊 已完成业务无感知应是基本原则。

Api Router目前如何工作已完成卫民已做解答

TCP和IOT层是否要做双机房 田玉磊 已完成至少第一阶段不会双活 彭帝  判断

本机房优先的路由策略(如何判断是本机房服务,如何控制权重) 陈鹏志 需改造路由需要改造,

权重可以通过按照城市维度控制粒度

专项:dubbo双活方案

跨机房部署是否有独立的注册中心,zk是否会成为服务规模瓶颈 陈鹏志 已完成仅仅用作服务发现,不会影响性能。专项:ZK双活方案

KOP支持多注册中心下 陈鹏志 需改造专项:dubbo双活方案

DBProxy是否有现成的多机房方案 陈鹏志 需改造专项:DB双活方案

多机房网络是否经过NAT映射 陈鹏志 已完成没有

同城双活目标,原则 侯云飞 已完成稳定性OKR( 服务端 )决定目标

确定主链路,主链路和非主链路之间是否可以解耦降级 侯云飞 需改造

互联网流量如何打到多个机房,支持哪些策略 侯云飞 已完成卫民已解答

机房收到流量后,路由到LA上,LA采用什么技术 侯云飞 已完成卫民已解答

zk集群每个机房一套,在部署时,如何保证服务配置在不同机房路由到不同zk集群 侯云飞 专项:打包部署方案

DDMQ同一名称的队列如果是多机房多实例,那么当某一机房故障时,会损失一部分消息,是否可接受 侯云飞

mysql、gift、codis、mongo、kschedual双活 侯云飞 需改造

有些服务甚至依赖hbase,是否需要双活 侯云飞 需改造专项:核心链路梳理

请求路由sharding方案,并不是所有接口都有城市ID,是否有多套 吴文豪 需改造专项:路由策略

一旦链路上存在未双活服务,存在跨机房调用,耗时不可控,也达不到同机房闭环的初衷 吴文豪 已完成同城双活,跨机房调用RT增加1~2ms,不影响用户体验

业务调用中台,中台回调业务地址是VIP,运维层面能不能做到指定,还是需要改造 吴文豪 需改造专项:路由策略

MQ是否已经存在跨机房,这部分如何处理 吴文豪 需改造专项:MQ双活方案

业务方需要在切换机房时主动切换dbproxy的vip 田玉磊 已完成不同机房会有不同配置

机房故障到切换主库之间,会有短暂的服务无法写入的情况,如何保证数据的强一致性? 田玉磊 需改造专项:DB双活方案

dubbo如果部署双活注册中心,需要使用多活服务的消费者必须重新配置上线,

将来多活时还要调整,这虽然和我们的原则冲突,应该可以接受

侯云飞 需改造专项:Dubbo双活方案

分库分表技术及技术方案

一、分库分表的必要性

分库分表技术的使用,主要是数据库产生了瓶颈,如单库的并发访问或单表的查询都超出了阈值。对系统使用造成一定的影响,不得已而产生的技术。

通过分库分表技术来解决此类问题,但正因为使用此技术,会产生ACID一系列的问题,各类中间件解决此类问题各有各的优势。

提示:如场景无必要,千万不要使用分库分表。

二、分库分表的思路

1、垂直区分

垂直分库:从业务角度,一个库分成多个库,如把订单和用户信息分成两个库来存储。这样的好处就是可以微服务了。每块的业务单独部署,互不影响,通过接口去调用。

垂直分表:把大表分成多个小表,如热点数据和非热点数据分开,提高查询速度。

2、水平区分

水平分表:同一业务如数据量大了以后,根据一定的规则分为不同的表进行存储。

水平分库:如订单分成多个库存储,分解服务器压力。

以上一般来说,垂直分库和水平分表用的会多些。

三、分库分表的原理分析

分库分表常用的方案:Hash取模方案和range范围方案;

路由算法为最主要的算法,指得是把路由的Key按照指定的算法进行存放;

1、Hash取模方案

根据取余分配到不同的表里。要根据实际情况确认模的大小。此方案由于平均分配,不存在热点问题,但数据迁移很复杂。

2、Range范围方案

range根据范围进行划分,如日期,大小。此方案不存在数据迁移,但存在热点问题。

四、分库分表的技术选型

1、技术选型

解决方案主要分为4种:MySQL的分区技术、NoSql、NewSQL、MySQL的分库分表。

(1)mysql分区技术:把一张表存放在不同存储文件。由于无法负载,使用较少。

(2)NoSQL(如MongoDB):如是订单等比较重要数据,强关联关系,需约束一致性,不太适应。

(3)NewSql(具有NoSQL对海量数据的存储管理能力,还保持了传统数据库支持ACID和SQL等特性):如TiDB可满足需求。

(4)MySQL的分库分表:如使用mysql,此种方案为主流方式。

2、中间件

解决此类问题的中间件主要为:Proxy模式、Client模式。

(1)Proxy模式

(2)Client模式

把分库分表相关逻辑存放在客户端,一版客户端的应用会引用一个jar,然后再jar中处理SQL组合、数据库路由、执行结果合并等相关功能。

(3)中间件的比较

由于Client模式少了一层,运维方便,相对来说容易些。

五、分库分表的实践

根据容量(当前容量和增长量)评估分库或分表个数 - 选key(均匀)- 分表规则(hash或range等)- 执行(一般双写)- 扩容问题(尽量减少数据的移动)。

在这里我们选用中间件share-jdbc。

1、引入maven依赖

2、spring boot规则配置

行表达式标识符可以使用${...}或$-{...},但前者与Spring本身的属性文件占位符冲突,因此在Spring环境中使用行表达式标识符建议使用$-{...}。

3、创建DataSource

通过ShardingDataSourceFactory工厂和规则配置对象获取ShardingDataSource,ShardingDataSource实现自JDBC的标准接口DataSource。然后即可通过DataSource选择使用原生JDBC开发,或者使用JPA, MyBatis等ORM工具。


分享文章:mysql双活技术怎么选 数据库双活方式有几种
标题路径:http://kswsj.cn/article/dojpcdg.html

其他资讯