一文详解MySQL主从同步原理

2024-04-05 23:35:22

1. MySQL主从同步实现方式

MySQL主从同步是基于Bin Log实现的，而Bin Log记录的是原始SQL语句。

Bin Log共有三种日志格式，可以binlog_format配置参数指定。

参数值	含义
Statement	记录原始SQL语句，会导致更新时间与原库不一致。比如 update_time=now()
Row	记录每行数据的变化，保证了数据与原库一致，缺点是数据量较大。
Mixed	Statement和Row的混合模式，默认采用Statement模式，涉及日期、函数相关的时候采用Row模式，既减少了数据量，又保证了数据一致性。

常见的主从同步架构有一主多从、双主多从

2. MySQL主从同步的作用

读写分离，提升数据库性能
容灾恢复，主服务器不可用时，从服务器提供服务，提高可用性
冗余备份，主服务器数据损坏丢失，从服务器保留备份

一主多从架构

一般是主库负责所有读写请求，而从库只负责容灾恢复和冗余备份。

如果做了读写分离的话，主库负责写请求，从库负责读请求，可以提升数据库性能。

双主多从架构

一般是主库1负责所有读写请求，主库2不对外提供服务，只用来容灾恢复。

相比一主多从架构，双主多从架构可以减少宕机时间，更快恢复数据库可用状态。

3. 主动同步的原理

当主库数据发生变更时，写入本地Bin Log文件
从库IO线程发起dump主库Bin Log文件的请求
主库IO线程推送Bin Log文件到从库中
从库IO线程把Bin Log内容写入本地的Relay Log文件中
从库SQL线程读取Relay Log文件内容
从库SQL线程重新执行一遍SQL语句

4. 主从同步延迟问题

主从同步最常遇到的问题就是主从同步延迟，可以通过在从库上执行show slave status命令查看延迟时间，Seconds_Behind_Master表示延迟的秒数。

主从同步延迟的原因有哪些？

从库机器性能较差：

主库负责所有读写请求，从库只用来备份，会用性能较差的机器，执行时间自然较慢。

从库压力更大：

读写分离后，主库负责写请求，从库负责读请求。
互联网应用一般读请求更多，所以从库读压力更大，占用更多CPU资源。

网络延迟：

当主库的Bin Log文件往从库上发送时，可能产生网络延迟，也会导致从库数据跟不上。

主库有大事务：

当主库上有个大事务需要执行5分钟，把Bin Log文件发送到从库，从库至少也需要执行5分钟，所以这时候从库就出现了5分钟的延迟。

主从同步延迟的解决方案？

从库机器性能较差：

把从库换成跟主库同等规格的机器。

从库压力更大：

多搞几台从库，分担读请求压力。

网络延迟：

联系运维或者云服务提供商解决。

主库有大事务：

把大事务分割成小事务执行，大事务不但会产生从库延迟，还可能产生死锁，降低数据库并发性能，所以尽量少用大事务。

5. 如何提升主从同步性能

从库开启多线程复制

就是在主从同步的最后两步使用多线程，修改配置 slave_parallel_workers=4，代表开启4个复制线程。

修改同步模式，改为异步

主从同步共有三种复制方式：

全同步复制：

当主库执行完一个事务，并且所有从库都执行完该事务后，才给客户端返回成功。

半同步复制：

至少有一个从库执行完成后，就给客户端返回成功。

异步复制：

主库执行完后，立即返回成功，不关心从库是否执行完成。

如果对数据安全性要求没那么高，可以把同步模式改成半同步复制或者异步复制。

修改从库Bin Log配置

修改sync_binlog配置：

sync_binlog=0 ，表示写binlog不立即刷新磁盘，由系统决定什么时候刷新磁盘。

sync_binlog=1，每次写binlog都刷新磁盘，安全性高，性能差。

sync_binlog=N，写N次binlog才刷新磁盘。

从库对数据安全性要求没那么高，可以设置sync_binlog=0。

修改innodb_flush_log_at_trx_commit配置：

innodb_flush_log_at_trx_commit=0，每隔一秒钟，把事务日志刷新到磁盘。

innodb_flush_log_at_trx_commit=1，每次事务都刷新到磁盘。

innodb_flush_log_at_trx_commit=2，每次事务都不主动刷新磁盘，由系统决定什么时候刷新磁盘。

从库对数据安全性要求没那么高，可以设置innodb_flush_log_at_trx_commit=2。

知识点总结

到此这篇关于一文详解MySQL主从同步原理的文章就介绍到这了,更多相关MySQL主从同步原理内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

mysql5.6主从搭建以及不同步问题详解

目录一.mysql主从复制原理二.mysql编译安装三.主从配置四.主从不同步系统:centos6.6 主:192.168.142.129 mysql-5.6.30.tar.gz 从:192.168.142.130 192.168.142.131 mysql-5.6.30.tar.gz 一.mysql主从复制原理 (1) master将改变记录到二进制日志(binary log)中: (2) slave将master的binary log events拷贝到它的中继日志(relay l
MySQL 搭建主从同步实现操作

目录一.MySQL8.0主从同步二.MySQL主从搭建 2.1Master上的操作 2.2Slave上的操作一.MySQL 8.0 主从同步主从同步的流程(原理): master 将变动记录到二进制日志文件(binary log)中,即配置文件中 log-bin 指定的文件,这些记录叫做二进制日志事件(binary log events): master 将二进制日志文件发送给 slave: slave 通过 I/O 线程读取文件中的内容写到 relay 日志中: slave 执行 re
MYSQL数据库主从同步设置的实现步骤

目录为什么要主从同步? 主从同步的原理 MYSQL数据库进行主从同步创建两个MYSQL数据库初始化,安装主机数据库配置从机测试主从同步为什么要主从同步? 1.读写分离主从同步分为一个主机多个从机,可以设置主从机权限.主机可以读写,从机只能读.主机对数据的操作会复制到从机,主机的数据和从机的一致.这样就可以实现读写分离,读写分离可以缓解服务器压力.互联网的应用往往是“读多写少”的需求,采用读写分离的方式,可以实现更高的并发访问. 2.数据备份我们通过主从复制将主库上的数据复制到了从
mysql主从只同步部分库或表的思路与方法

同步部分数据有两个思路,1.master只发送需要的:2.slave只接收想要的. master端: binlog-do-db 二进制日志记录的数据库(多数据库用逗号,隔开) binlog-ignore-db 二进制日志中忽略数据库 (多数据库用逗号,隔开) 举例说明: 1)binlog-do-db=YYY 需要同步的数据库,不在内的不同步.(不添加这行表示同步所有) 这里主库只同步test1,test2库. 2)binlog-ignore-db = mysql 这是不记录binlo
解决MySQL主从数据库没有同步的两种方法

目录解决MySQL主从数据库没有同步的两种方法一.不同步情况二.解决方案 1.先进入主库,进行锁表,防止数据写入 2.进行数据备份 3.查看master 状态 4.把mysql备份文件传到从库机器,进行数据恢复 5.停止从库的状态 6.然后到从库执行mysql命令,导入数据备份 7.设置从库同步 8.重新开启从同步 9.查看同步状态 10.回到主库并执行如下命令解除表锁定. 解决MySQL主从数据库没有同步的两种方法工作的过程中发现Mysql的主从数据库没有同步一.不同步情况 Mast
MySQL主从同步原理及应用

目录 1.主从同步原理主从同步架构图(异步同步) 主从同步流程(异步同步) 什么是binlog? binlog的3种格式 binlog格式对比主从同步的2种方式主从同步流程(半同步) 半同步适用场景 2.主从同步应用场景 1.主从同步原理主从同步架构图(异步同步) 这是最常见的主从同步架构主从同步流程(异步同步) 主库把数据变更写入binlog文件从库I/O线程发起dump请求主库I/O线程推送binlog至从库从库I/O线程写入本地的relay log文件(与binlog格式一
MYSQL数据库如何设置主从同步

目录 1.配置主数据库 2.配置从数据库总结 MYSQL可以配置1个主数据库多个从数据库 1.配置主数据库主master : 192.168.1.132 从slave : 192.168.1.133 1)授权给从数据库 GRANT REPLICATION SLAVE ON *.* to 'repl'@'192.168.1.132' identified by 'test123456'; FLUSH PRIVILEGES; 2)修改主库配置文件,开启binlog,并设置server-id,每次
一文详解MySQL主从同步原理

目录 1. MySQL主从同步实现方式 2. MySQL主从同步的作用一主多从架构双主多从架构 3. 主动同步的原理 4. 主从同步延迟问题主从同步延迟的原因有哪些? 主从同步延迟的解决方案? 5. 如何提升主从同步性能从库开启多线程复制修改同步模式,改为异步修改从库Bin Log配置知识点总结 1. MySQL主从同步实现方式 MySQL主从同步是基于Bin Log实现的,而Bin Log记录的是原始SQL语句. Bin Log共有三种日志格式,可以binlog_format配置
详解Mysql主从同步配置实战

1.Introduction 之前写过一篇文章:Mysql主从同步的原理. 相信看过这篇文章的童鞋,都摩拳擦掌,跃跃一试了吧? 今天我们就来一次mysql主从同步实战! 2.环境说明 os:ubuntu16.04 mysql:5.7.17 下面的实战演练,都是基于上面的环境.当然,其他环境也大同小异. 3.进入实战工具 2台机器: master IP:192.168.33.22 slave IP:192.168.33.33 master机器上的操作 1.更改配置文件我们找到文件 /etc/
mysql主从同步原理及应用场景示例详解

目录基础知识 MySQL 主从同步的主要应用场景有: 原理设置主从同步,还有以下几个前提: 实验环境模拟实现主从同步首先在 docker 中拉取 mysql 5.7 版本的镜像: 通过以下命令进入到 Master 容器内部: 接下来,进入数据库: 接下来执行以下命令: 基础知识随着业务复杂度的增加,单台 MySQL 数据库服务器已不能满足实际的需求,取而代之的是数据库服务器集群.MySQL 具有支持分布式的特性,能轻松搭建一个支持高并发的 MySQL 数据库服务器集群.在集群中我们必须保
一文带你了解Mysql主从同步原理

目录 Mysql 主从同步原理简析 1.什么是主从 2.为什么要搞主从呢? 3.如何实现主从同步呢? 4.mysql 主从同步的原理 Mysql 主从同步原理简析在开始讲述原理的情况下,我们先来做个知识汇总, 究竟什么是主从,为什么要搞主从,可以怎么实现主从,mysql主从同步的原理 1.什么是主从其实主从这个概念非常简单主机就是我们平常主要用来读写的服务,我们称之为master(主人.主宰) 从机就是主机进行的一个扩展,他一般不会主动用来读写,我们称之为slave( [sleɪv] 奴隶
一文详解MySQL Binlog日志与主从复制

目录 1. Binlog日志的介绍 2. 主从复制 2.1 主从复制的流程 2.2 GTID 2.3 复制模型 2.4 MGR模式 2.5 并行回放 1. Binlog日志的介绍 Binlog是Binary log的缩写,即二进制日志.Binlog主要有三个作用:持久化时将随机IO转化为顺序IO,主从复制以及数据恢复.本文重点主从复制相关的问题. Binlog日志由一个索引文件与很多日志文件组成,每个日志文件由魔数以及事件组成,每个日志文件都会以一个Rotate类型的事件结束. 对于每个事件,都
详解MySQL实时同步到Oracle解决方案

1 需求概述将MySQL5.6生产库多张表的数据实时同步到Oracle11g数据仓库,MySQL历史数据700G,平均每天产生50G左右日志文件,MySQL日志空间50G,超过后滚动删除日志文件.整个同步过程不可影响MySQL业务操作. 2 技术原理采用灵蜂数据集成软件BeeDI将MySQL数据实时同步到Oracle,通过ETL全量同步历史数据,通过日志解析方式实时同步增量数据. 受限于日志空间,如果将所有历史数据一次性同步,需要的时间会超过一天,全量同步过程产生的日志会被删除,造成实时日志
一文详解Vue3响应式原理

目录回顾 vue2.x 的响应式 vue3的响应式 Reflect 回顾 vue2.x 的响应式实现原理: 对象类型:通过object.defineProperty()对属性的读取.修改进行拦截(数据劫持) 数组类型:通过重写更新数组的一系列方法来实现拦截(对数组的变更方法进行了包裹) Object.defineProperty(data,'count ",{ get(){}, set(){} }) 存在问题: 新增属性.删除属性,界面不会更新直接通过下标修改数组,界面不会自动更新但是
一文详解MySQL中数据表的外连接

目录为什么要使用外连接外连接简介左连接与右连接外连接练习① 外连接练习② 该章节的内容为多表连接查询的外连接,因为 MySQL 是关系型数据库,数据是拆分重组在多个数据表里面的.所以我们势必要从多个数据表中提取数据,通过 SQL 语句的内连接与外连接就能够实现多表查询了.这部分内容是需要我们重点学习的,学习的过程中会穿插多种的案例来强化对表连接的语法的运用. 为什么要使用外连接在解释为什么使用 “外连接” 之前,先来看一个记录.(如下:) 针对表中的张三没有所属的部门编号,我们暂且将他
一文详解MySQL不同隔离级别都使用什么锁

目录说透 MySQL 锁机制事务隔离级别 MySQL 锁类型读未提交读已提交可重复读总结在上篇文章,我们聊了「MySQL 啥时候会用表锁,啥时候用行锁」这个问题.在文章中,我们还留了一个问题,即:如果查询或更新时的数据特别多,是否从行锁会升级为表锁? 此外,还有朋友留言说到:不同的隔离级别可能会用不同的锁,可以结合隔离级别来聊聊.其实上面虽然是两个问题,但如果你把不同隔离级别下的加锁问题搞清楚了,那么第一个问题自然也清楚了. 今天,就让我带着大家来聊聊不同隔离级别下,都会使用什么锁