如何解决mysql主从延迟

admin8个月前笔记77

MySQL内建的复制功能是构建大型、高性能应用程序的基础。将MySQL的数据分布到多个系统上去,这种分布式的机制,是通过将MySQL的某一台主机的数据,复制到其他的主机slaves上,并重新执行一边来实现。
复制过程中,一个服务器充当主服务器,而一个或多个其他服务器充当从服务器。主服务器将更新写入二进制日志文件,并维护文件的一个索引,以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接到主服务器时,它通知主服务器,从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时发生的任何更新,然后封锁并等待主服务器通知更新。
mysql主从复制存在的问题:

  • 主库宕机后,数据可能丢失

  • 从库只有一个sql Thread,主库写压力大,复制很可能延时

下面从四个方便讨论解决mysql主从延迟
1.MySQL数据库主从同步延迟原理。

答:谈到MySQL数据库主从同步延迟原理,得从mysql的数据库主从复制原理说起,mysql的主从复制都是单线程的操作,主库对所有DDL和DML产生binlog,binlog是顺序写,所以效率很高;slave的Slave_IO_Running线程会到主库取日志,效率会比较高,slave的Slave_SQL_Running线程将主库的DDL和DML操作都在slave实施。DML和DDL的IO操作是随机的,不是顺序的,因此成本会很高,还可能是slave上的其他查询产生lock争用,由于Slave_SQL_Running也是单线程的,所以一个DDL卡主了,需要执行10分钟,那么所有之后的DDL会等待这个DDL执行完才会继续执行,这就导致了延时。有朋友会问:“主库上那个相同的DDL也需要执行10分,为什么slave会延时?”,答案是master可以并发,Slave_SQL_Running线程却不可以。

2.MySQL数据库主从同步延迟是怎么产生的。

答:当主库的TPS并发较高时,产生的DDL数量超过slave一个sql线程所能承受的范围,那么延时就产生了,当然还有就是可能与slave的大型query语句产生了锁等待。

3.MySQL数据库主从同步延迟解决方案

答:最简单的减少slave同步延时的方案就是在架构上做优化,尽量让主库的DDL快速执行。还有就是主库是写,对数据安全性较高,比如sync_binlog=1,innodb_flush_log_at_trx_commit = 1 之类的设置,而slave则不需要这么高的数据安全,完全可以讲sync_binlog设置为0或者关闭binlog,innodb_flushlog也可以设置为0来提高sql的执行效率。另外就是使用比主库更好的硬件设备作为slave。

4.MySQL数据库主从同步延迟产生的因素。

1. 网络延迟
2. master负载
3. slave负载
一般的做法是,使用多台slave来分摊读请求,再从这些slave中取一台专用的服务器,只作为备份用,不进行其他任何操作,就能相对最大限度地达到’实时’的要求了

另外,再介绍2个可以减少延迟的参数
–slave-net-timeout=seconds
参数含义:当slave从主数据库读取log数据失败后,等待多久重新建立连接并获取数据
slave_net_timeout单位为秒 默认设置为 3600秒
| slave_net_timeout | 3600
–master-connect-retry=seconds
参数含义:当重新建立主从连接时,如果连接建立失败,间隔多久后重试。
master-connect-retry单位为秒 默认设置为 60秒
通常配置以上2个参数可以减少网络问题导致的主从数据同步延迟


相关文章

详解 php 流式调用 OpenAI 的 gpt-3.5-turbo 模型接口,实时接收回答并实时传送给前端打字机显示

原理阐明流式接纳 OpenAI 的回来数据后端 Class.ChatGPT.php 顶用 curl 向 OpenAI 建议恳求,运用 curl 的 CURLOPT_WRITEFUNCTION...

你知道是哪个是常见的约束中MySql不支持的吗?

数据库中的约束,顾名思义即是对插入数据库中的数据进行了一定的限定,这样做的目的是为了保证数据的完整性和有效性。这样会大幅度地提升数据库中数据的质量,节省数据库空间和提高运行效率。那么,常见的数据库约束...

盘点MicroPython做嵌入式开发的优缺点

盘点MicroPython做嵌入式开发的优缺点

Python的火热程度相信大家都看到了,自然,MCU和嵌入式也紧跟“潮流”,随之而来的就是MicroPython。关于MicroPythonMicroPython 是Python 3编程语言的精简高效...

uptime 命令介绍

uptime 命令介绍

Linux uptime 命令望名生义,uptime 命令告诉你系统启动up了(运行了)多长时间。这是语法:uptime [options]这个工具的 man 页是这么说的:uptime会在...

如何用zabbix创建自定义监控项

如何用zabbix创建自定义监控项

背景:zabbix本身提供了很多可选的监控项,可以满足绝大部分的监控需求。有时候由于业务需求,需要自定义监控项。 下面以创建mysql自定义监控项为例,分享如何创建zabbix自定义监控项。环境说明:...

详解HTTPS连接过程以及中间人攻击劫持

详解HTTPS连接过程以及中间人攻击劫持

https协议就是http+ssl协议,如下图所示为其连接过程:1.https请求客户端向服务端发送https请求;2.生成公钥和私钥服务端收到请求之后,生成公钥和私钥。公钥相当于是锁,私钥相当于是钥...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。