一文详解MySQL Binlog日志与主从复制

目录
  • 1. Binlog日志的介绍
  • 2. 主从复制
    • 2.1 主从复制的流程
    • 2.2 GTID
    • 2.3 复制模型
    • 2.4 MGR模式
    • 2.5 并行回放

1. Binlog日志的介绍

Binlog是Binary log的缩写，即二进制日志。Binlog主要有三个作用：持久化时将随机IO转化为顺序IO，主从复制以及数据恢复。本文重点主从复制相关的问题。

Binlog日志由一个索引文件与很多日志文件组成，每个日志文件由魔数以及事件组成，每个日志文件都会以一个Rotate类型的事件结束。

对于每个事件，都可以分为事件头与事件体两部分：

事件头的结构如下所示：

事件体的结构包括固定大小与可变大小两部分。

对于Binlog日志的格式，做简单的了解即可，感兴趣的同学可以深入学习。

2. 主从复制

2.1 主从复制的流程

MySQL主从复制的流程大致如下：

  • 主库同步自己的Binlog日志给从库
  • 从库的IO线程将Binlog日志内容写入Relay Log
  • 从库的SQL线程取Relay Log并在数据库中进行回放

2.2 GTID

GTID是指全局事务标志，用来标记主从同步的情况。

master提交一个事务时会产生GTID，并且记录在Binlog日志中。从库的IO线程在读取Binlog日志时，会将其储存在自己的Relaylog中，并且将这个值设置到gtid_next中，即下一个要读取的GTID，从库读取这个gtid_next时，会对比自己的Binlog日志中是否有这个GTID：

  • 如果有这个记录，说明这个GTID的事务已经执行过了，可以忽略掉（幂等）。
  • 如果没有这个记录，slave就会执行该GTID事务，并记录到自己的Binlog日志中。

2.3 复制模型

  • 异步复制：master 把Binlog日志推送给slave，master不需要等到slave是否成功更新数据到Relay log，主库直接提交事务即可。这种模式牺牲了数据一致性。
  • 同步复制：每次用户操作时，必须要保证Master和Slave都执行成功才返回给用户。
  • 半同步复制：不要求Slave执行成功，而是成功接收Master日志就可以通知Master返回。

2.4 MGR模式

分布式一致性算法Paxos。由至少3个或更多个节点共同组成一个数据库集群，事务的提交必须经过半数以上节点同意方可提交提供，支持多写模式。

MGR 是 share-nothing 的复制方案，基于分布式paxos协议实现，每个实例都有独立的完整数据副本，集群自动检查节点信息，做数据的同步。同时提供单主模式和多主模式，单主模式在主库宕机后能够自动选主，所有写入都在主节点进行，多主模式支持多节点写入。同时集群提供冗余的容错功能，保证集群大多数节点正常集群就可以正常提供服务。

2.5 并行回放

事务回放是从库的SQL线程执行Relay Log的过程，并行回放是为了提高这一过程的效率，将可以并行进行的事务同时进行。

  • 基于逻辑时钟的并行回放

因为MySQL本身事务具有ACID的特点，所以从主库同步到从库的事务，只要其执行的逻辑时间上有重叠，那么这两个事务就能安全的进行并行回放。

  • 基于writeSet的并行回放

使用一个HashMap保存一定时间内针对某一块数据区域的事务的集合。如果事务在同一组内或者是逻辑时钟有重叠，说明没有冲突，其他情况不能确定是否有冲突。

到此这篇关于一文详解MySQL Binlog日志与主从复制的文章就介绍到这了,更多相关MySQL Binlog日志内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • MySQL主从复制断开的常用修复方法

    01 问题描述 在生产环境中,我们经常会遇见MySQL主从复制断开的情况,在遇到主从复制断开是,通常情况,解决问题的步骤如下: 1.从库上show slave status查看复制断开的直观原因,并记录当前的复制位点 2.查看error log,分析更详细的复制断开原因 3.修复主从复制关系 4.如果复制关系无法修复,则需要重新搭建从库 02 解决问题的方法 主从复制关系断裂,有各种各样的原因.有些时候,我们没有时间去客观分析原因,因为应用程序处于无法使用状态,需要立即恢复,这种情况下,我们对复

  • Mysql数据库清理binlog日志命令详解

    Mysql数据库清理binlog日志命令详解

    概述 今天主要分享下mysql数据库应该如何正确的删除binlog日志,这里要注意不要强制使用rm命令进行清除.否则mysq-bin.index错乱,最终导致后期expire-log-days配置项失效. 1.查看binlog日志 mysql> show binary logs; 2.删除某个日志文件之前的所有日志文件 purge binary logs to 'mysql-bin.000035'; 3.清理2019-09-09 13:00:00前binlog日志 PURGE MASTER LO

  • MySQL使用binlog日志做数据恢复的实现

    MySQL使用binlog日志做数据恢复的实现

    MySQL的binlog日志是MySQL日志中非常重要的一种日志,记录了数据库所有的DML操作.通过binlog日志我们可以进行数据库的读写分离.数据增量备份以及服务器宕机时的数据恢复. 定期备份固然可以在服务器发生宕机的时候快速的恢复数据,但传统的全量备份不可能做到实时,所以在发生宕机的时候,也会损伤一部分数据,如果这个时候开启了binlog日志,那么可以通过binlog来对没有做备份的这一阶段损失的数据进行恢复.如果了解Redis的朋友,可能想到了,Redis有两种持久化方式,分别是AOF和

  • 开启MySQL的binlog日志的方法步骤

    开启MySQL的binlog日志的方法步骤

    binlog 就是binary log,二进制日志文件,这个文件记录了mysql所有的dml操作.通过binlog日志我们可以做数据恢复,做主住复制和主从复制等等.对于开发者可能对binlog并不怎么关注,但是对于运维或者架构人员来讲是非常重要的. 如何开启mysql的binlog日志呢? 在my.inf主配置文件中直接添加三行 log_bin=ON log_bin_basename=/var/lib/mysql/mysql-bin log_bin_index=/var/lib/mysql/my

  • mysql主从复制的实现步骤

    mysql主从复制的实现步骤

    目录 mysql主从复制 mysql主从复制的方式 mysql主从复制的原理 mysql的主从配置的具体实现方式 1. Master配置 2. Slave配置 mysql主从复制 本来是在做sharding的,可是做好之后发现数据库的主从复制还没有做,所以在配置好了之后做了些记录: mysql主从复制的方式 mysql主从复制有两种方式:基于日志(binlog).基于GTID(全局事物标示符)本博文用的是基于日志(binlog)的复制. mysql主从复制的原理 1. Master将数据记录到二

  • Mysql如何通过binlog日志恢复数据详解

    Mysql如何通过binlog日志恢复数据详解

    目录 前言 方法如下 总结 前言 MySQL的binlog日志是MySQL日志中非常重要的一种日志,记录了数据库所有的DML操作.通过binlog日志我们可以进行数据库的读写分离.数据增量备份以及服务器宕机时的数据恢复. 定期备份固然可以在服务器发生宕机的时候快速的恢复数据,但传统的全量备份不可能做到实时,所以在发生宕机的时候,也会损伤一部分数据,如果这个时候开启了binlog日志,那么可以通过binlog来对没有做备份的这一阶段损失的数据进行恢复 Binlog日志,即binary log,是二

  • Mysql binlog日志文件过大的解决

    Mysql binlog日志文件过大的解决

    目录 1.相关binlog配置 2.binlog相关高级设置 2.1 改变binlog模式 2.2 相关SQL操作binlog 磁盘突然报错使用率过大,排查原因,发现mysql的binlog文件占用过大 命令 ls -l -h mysql-binlog是MySQL数据库的二进制日志,用于记录用户对数据库操作的SQL语句((除了数据查询语句)信息.可以使用mysqlbin命令查看二进制日志的内容. 可以通过设置my.cof配置文件的方式限制binlog文件的输出. 1.相关binlog配置 vim

  • 一文详解MySQL Binlog日志与主从复制

    一文详解MySQL Binlog日志与主从复制

    目录 1. Binlog日志的介绍 2. 主从复制 2.1 主从复制的流程 2.2 GTID 2.3 复制模型 2.4 MGR模式 2.5 并行回放 1. Binlog日志的介绍 Binlog是Binary log的缩写,即二进制日志.Binlog主要有三个作用:持久化时将随机IO转化为顺序IO,主从复制以及数据恢复.本文重点主从复制相关的问题. Binlog日志由一个索引文件与很多日志文件组成,每个日志文件由魔数以及事件组成,每个日志文件都会以一个Rotate类型的事件结束. 对于每个事件,都

  • 一文详解MySQL主从同步原理

    一文详解MySQL主从同步原理

    目录 1. MySQL主从同步实现方式 2. MySQL主从同步的作用 一主多从架构 双主多从架构 3. 主动同步的原理 4. 主从同步延迟问题 主从同步延迟的原因有哪些? 主从同步延迟的解决方案? 5. 如何提升主从同步性能 从库开启多线程复制 修改同步模式,改为异步 修改从库Bin Log配置 知识点总结 1. MySQL主从同步实现方式 MySQL主从同步是基于Bin Log实现的,而Bin Log记录的是原始SQL语句. Bin Log共有三种日志格式,可以binlog_format配置

  • 一文详解MySQL不同隔离级别都使用什么锁

    一文详解MySQL不同隔离级别都使用什么锁

    目录 说透 MySQL 锁机制 事务隔离级别 MySQL 锁类型 读未提交 读已提交 可重复读 总结 在上篇文章,我们聊了「MySQL 啥时候会用表锁,啥时候用行锁」这个问题.在文章中,我们还留了一个问题,即:如果查询或更新时的数据特别多,是否从行锁会升级为表锁? 此外,还有朋友留言说到:不同的隔离级别可能会用不同的锁,可以结合隔离级别来聊聊.其实上面虽然是两个问题,但如果你把不同隔离级别下的加锁问题搞清楚了,那么第一个问题自然也清楚了. 今天,就让我带着大家来聊聊不同隔离级别下,都会使用什么锁

  • 详解mysql慢日志查询

    慢日志查询作用 慢日志查询的主要功能就是,记录sql语句中超过设定的时间阈值的查询语句.例如,一条查询sql语句,我们设置的阈值为1s,当这条查询语句的执行时间超过了1s,则将被写入到慢查询配置的日志中. 慢查询主要是为了我们做sql语句的优化功能. 慢日志查询配置项说明 打开mysql,通过以下命令查看相关配置: mysql> show variables like '%query%'; +------------------------------+---------------------

  • 一文详解MySQL中数据表的外连接

    一文详解MySQL中数据表的外连接

    目录 为什么要使用外连接 外连接简介 左连接与右连接 外连接练习① 外连接练习② 该章节的内容为多表连接查询的外连接,因为 MySQL 是关系型数据库,数据是拆分重组在多个数据表里面的.所以我们势必要从多个数据表中提取数据,通过 SQL 语句的内连接与外连接就能够实现多表查询了.这部分内容是需要我们重点学习的,学习的过程中会穿插多种的案例来强化对表连接的语法的运用. 为什么要使用外连接 在解释为什么使用 “外连接” 之前,先来看一个记录.(如下:) 针对表中的张三没有所属的部门编号,我们暂且将他

  • 详解MySQL 重做日志（redo log）与回滚日志（undo logo）

    前言: 前面文章讲述了 MySQL 系统中常见的几种日志,其实还有事务相关日志 redo log 和 undo log 没有介绍.相对于其他几种日志而言, redo log 和 undo log 是更加神秘,难以观测的.本篇文章将主要介绍这两类事务日志的作用及运维方法. 1.重做日志(redo log) 我们都知道,事务的四大特性里面有一个是 持久性 ,具体来说就是只要事务提交成功,那么对数据库做的修改就被永久保存下来了,不可能因为任何原因再回到原来的状态.那么 MySQL 是如何保证一致性的呢

  • 详解 Mysql 事务和Mysql 日志

    事务特性 1.原子性(Atomicity):事务开始后所有操作,要么全部做完,要么全部不做,不可能停滞在中间环节. 2.一致性(Consistency):事务开始前和结束后,数据库的完整性约束没有被破坏 .比如A向B转账,不可能A扣了钱,B却没收到. 3.隔离性(Isolation):同一时间,只允许一个事务请求同一数据,不同的事务之间彼此没有任何干扰.比如A正在从一张银行卡中取钱,在A取钱的过程结束前,B不能向这张卡转账. 4.持久性(Durability):事务完成后,事务对数据库的所有更新

  • 一文详解PHP连接MySQL数据库的三种方式

    目录 1.MySQL扩展 2.mysqli扩展 3.PDO扩展 知识点补充 PHP与MySQL的连接有三种API接口,分别是:PHP的MySQL扩展 .PHP的mysqli扩展 .PHP数据对象(PDO). 1.MySQL扩展 PHP 的 MySQL 扩展是设计开发允许 PHP 应用与 MySQL 数据库交互的早期扩展.MySQL 扩展提供了一个面向过程的接口,由于不支持后期MySQL服务端提供的一些特性.且太古老,又不安全,所以已被后来的 mysqli 完全取代: 使用方式如下 //自 PHP

  • 一条sql详解MYSQL的架构设计详情

    一条sql详解MYSQL的架构设计详情

    目录 1 前言 2 应用层 2.1 连接线程处理 3 服务层 3.1 SQL 接口 3.2 SQL解析器 3.3 SQL优化器 3.4 执行器 3.5 查询缓存 4 存储引擎层 4.1 概述 4.2 缓冲池(buffer pool) 4.2.1 数据页.缓存页和脏页 4.2.2 元数据 4.2.3 free链表 4.2.4 flush链表 4.2.5 LRU链表 4.2.6 小结 4.3 undo log 4.4 redo log 5 总结 1 前言 对于一个服务端开发来说 MYSQL 可能是他

  • 详解MySQL 慢查询

    查询mysql的操作信息 show status -- 显示全部mysql操作信息 show status like "com_insert%"; -- 获得mysql的插入次数; show status like "com_delete%"; -- 获得mysql的删除次数; show status like "com_select%"; -- 获得mysql的查询次数; show status like "uptime";

随机推荐