MySQL复制机制原理讲解

背景介绍

复制，就是对数据的完整拷贝，说到为什么要复制，首先能想到的是怕数据意外丢失，使得用户蒙受损失。

当完成了数据复制之后，会发现它的优势不止这一点，假如一台机器宕机了，可以启用备份在另一台机器的数据。毕竟宕机的概率很小，闲暇时间还可以让备份机器分担主机器的流量压力。除此之外，当要升级数据库版本时，可以在不停止用户服务的情况下优先升级备用机器，待观测其可用稳定时再将主数据库升级。

但是，也不能总让DBA手动拷贝来完成复制，万一在DBA蹲坑的时候宕机了，在蹲坑期间产生的数据由于没有及时备份，会导致备用数据库的数据缺失，所以还是要设计一套可以自动复制的机制。

设计复制机制

我们暂定被复制的数据库为主库，粘贴出来的为从库，要实现主库到从库的复制，看起来非常简单，只需一个计划任务，定时将主库数据文件复制一份，并传输到从库所在服务器。

但毕竟定时任务不是实时的，万一主库在上次复制的十分钟后发生了故障，被激活的从库用的是最近一次复制的数据，所以会缺失十分钟的数据，后果不堪设想。

还是要实时复制，那可以这样，主库将每次执行完的语句实时发给从库，让从库马上执行，就能保证两边数据一致了。

不太好的是，主库是实时发送数据给从库的，需要等从库执行完毕才能处理下一条语句，严重占用了主库的执行时间，如果从库过多，主库就废了。

还得改成异步才能节省主库的时间，可以将主库执行完的语句存到文件里，让从库来取，这样主库就不用等待从库了。既然是写到文件，速度是很快的，主库完全可以在执行前就将语句写到文件中，达到更高的同步效率。

上述有些问题，从库无法做到跑去主库取数据，只能起一个线程先与主库建立连接，并向主库索要数据，然后主库也起一个线程读取文件内容，并推给从库线程，从库收到语句后就可以马上执行了。

这样效率还是很低，主库的线程要等从库收到语句并执行完毕才能推下一条，如果有多个从库，主库就要开启多个线程长期与各个从库保持通信，占用主库服务器资源，不如从库也创建个文件临时保存主库发来的语句，先存起来再慢慢执行，主库压力小了，从库也放心。

现在从库有了自己的文件做中继，就不用着急了，从库可以再起一个线程，慢慢执行中继文件中的语句，执行完毕之后原文件没有价值了，就可以清理掉，免得占用服务器资源。

到目前为止，最基本的复制机制就设计完了，这种由主库到从库的复制方式就是典型的主从架构，在此基础上可以进行演化，比如从库有很多，主库要为每个从库推送数据，主库的压力会随之增大，又因为主库的职责不仅仅是同步数据，还要忙着读写数据，所以同步数据的事可以找人代替，比如在主库与从库之间再建立一个主库，新建立的主库唯一的职责就是同步数据给从库，这样真正的主库就只需要推送一次数据给新建的主库，其余时间就可以安心读写数据了。

这种演化而来的复制模式叫做多级复制架构，本文到此结束，上述就是三种复制架构中的其中两种，除此之外还有一个“主主”架构，在这里就不再多说了，感兴趣的可以自行了解或关注后续的文章。

以上就是全部关于MySQL复制机制的知识点内容，感谢大家对我们的支持。

赞 (0)

相关推荐

  • 深入理解MySQL主从复制线程状态转变

    前言 MySQL的主从复制的基本原理是从库连接到主库,主库生成一个主库DUMP线程,该DUMP线程的主要任务是 一直挖掘binlog日志,然后发送到从库的IO线程,IO线程接收到日志流后,写入relay log,另一个线 程SQL线程,会读取该relay log内容,然后对sql语句进行重放. 本文主要给大家介绍的是关于MySQL主从复制线程状态转变的相关内容,下面话不多说了,来一起看看详细的介绍吧 一.主库线程状态(State)值 以下列表显示了主从复制中主服务器的Binlog Dump线程的

  • MySQL不同表之前的字段复制

    有时候,我们需要复制某个字段一整列的数据到另外一个新的字段中,这很简单,SQL可以这么写: UPDATE tb_1 SET content_target = content_source; 大概写法如下: Update {your_table} set {source_field} = {object_field} WHERE cause 有Navicat等工具更好,可以直接选中一列数据,拷贝粘贴到你需要的列中.如果是同一个表那没什么问题,如果是新表,请保持它们的行数是一致.如果行数不一致,你可

  • Mysql将一个表中的某一列数据复制到另一个表中某一列里的方法

    Mysql将一个表中的某一列数据复制到另一个表中某一列里的方法

    mysql复制表中的一列到另一个表中 有时候,我们需要复制某个字段一整列的数据到另外一个新的字段中,这很简单,SQL可以这么写: UPDATE tb_1 SET content_target = content_source; 大概写法如下: Update {your_table} set {source_field} = {object_field} WHERE cause 有Navicat等工具更好,可以直接选中一列数据,拷贝粘贴到你需要的列中.如果是同一个表那没什么问题,如果是新表,请保持

  • MYSQL 完全备份、主从复制、级联复制、半同步小结

    mysql 完全备份 1,启用二进制日志,并于数据库分离,单独存放 vim /etc/my.cnf 添加 log_bin=/data/bin/mysql-bin 创建/data/bin文件夹并授权 chown mysql.mysql /data/bin 2,完成备份数据库 mysqldump -A --single-transaction --master-data=2 | xz > /data/all.sql.xz 3,对数据库进行增删改 INSERT hellodb.students(stu

  • 实现mysql级联复制的方法示例

    所谓级联复制就是master服务器,只给一台slave服务器同步数据,然后slave服务器在向后端的所有slave服务器同步数据,降低master服务器的写压力,和复制数据的网络IO. 一,配置master服务器 1,修改主配置文件 vim /etc/my.cnf 在[mysql]配置块下添加如下两行配置 [mysql] log_bin #开启二进制日志功能 server_id=1 #为当前节点设置一个全局惟一的ID号 2,重启mysql服务,使配置生效 systemctl restart ma

  • Mysql主从复制注意事项的讲解

    一.报错error connecting to master 'x@x.x.x.x:x' - retry-time: 60  retries: 86400 今天搭建mysql主从复制,一直报这个错.我是在一台虚拟机上使用多实例创建的2个不同端口的数据库,查了很久,才解决. 1.检查主从复制的用户名密码: 2.检查MASTER_LOG_FILE和MASTER_LOG_POS. 记住配置从库的命令,这些参数都要参考主库的配置: mysql> CHANGE MASTER TO MASTER_HOST=

  • MySQL复制机制原理讲解

    背景介绍 复制,就是对数据的完整拷贝,说到为什么要复制,首先能想到的是怕数据意外丢失,使得用户蒙受损失. 当完成了数据复制之后,会发现它的优势不止这一点,假如一台机器宕机了,可以启用备份在另一台机器的数据.毕竟宕机的概率很小,闲暇时间还可以让备份机器分担主机器的流量压力.除此之外,当要升级数据库版本时,可以在不停止用户服务的情况下优先升级备用机器,待观测其可用稳定时再将主数据库升级. 但是,也不能总让DBA手动拷贝来完成复制,万一在DBA蹲坑的时候宕机了,在蹲坑期间产生的数据由于没有及时备份,会

  • Mysql MVCC机制原理详解

    Mysql MVCC机制原理详解

    什么是MVCC MVCC,全称Multi-Version Concurrency Control,即多版本并发控制.MVCC是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问,在编程语言中实现事务内存. 我们知道,一般情况下我们使用mysql数据库的时候使用的是Innodb存储引擎,Innodb存储引擎是支持事务的,那么当多线程同时执行事务的时候,可能会出现并发问题.这个时候需要一个能够控制并发的方法,MVCC就起到了这个作用. Mysql的锁和事务隔离级别 在理解MVCC机制

  • 一文搞懂MySQL运行机制原理

    一文搞懂MySQL运行机制原理

    目录 前言 MySQL服务器体系架构 网络连接层 服务层 存储引擎层 系统文件层 服务器处理客户端请求 连接管理 解析与优化 查询缓存 语法解析 查询优化 存储引擎 小结 前言 前文我们了解了MySQL采用客户端/服务器架构,用户通过客户端程序发送增删改查需求,服务器程序收到请求后处理,并且把处理结果返回给客户端.这篇文章主要看下MySQL服务端是如何处理客户端的请求,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助. MySQL服务器体系架构 MySQL Server架构自顶向下大致可以分网

  • MySql主从复制机制全面解析

    MySql主从复制机制全面解析

    作为一个关系型数据库,MySQL内建地提供数据复制机制,这使得在使用时,可以基于其复制机制实现高可用架构等高级特性,从而使得MySQL无需借助额外的插件或其他工具就具备适用于生产环境.这是MySQL得到大面积实际应用的条件之一. 基于MySQL的复制机制,不仅可以实现数据库的高可用,还能实现如:性能扩展.异地灾备以及冷热分离等高级特性. 高可用:通过配置一定的复制机制,MySQL实现了跨主机的数据复制,从而获得一定的高可用能力,如果需要获得更高的可用性,只需要配置多个副本,或者进行级联复制就可以

  • 分析MySQL复制以及调优原理和方法

    分析MySQL复制以及调优原理和方法

    一. 简介 MySQL自带复制方案,带来好处有: 数据备份. 负载均衡. 分布式数据. 概念介绍: 主机(master):被复制的数据库. 从机(slave):复制主机数据的数据库. 复制步骤: (1). master记录更改的明细,存入到二进制日志(binary log). (2). master发送同步消息给slave. (3). slave收到消息后,将master的二进制日志复制到本地的中继日志(relay log). (4). slave重现中继日志中的消息,从而改变数据库的数据. 下

  • (MariaDB)MySQL数据类型和存储机制全面讲解

    1.1 数据类型概览 数据类型算是一种字段约束,它限制每个字段能存储什么样的数据.能存储多少数据.能存储的格式等.MySQL/MariaDB大致有5类数据类型,分别是:整形.浮点型.字符串类型.日期时间型以及特殊的ENUM和SET类型. 这5种数据类型的意义.限制和相关说明如下图所示: 各数据类型占用字节数,参见mariadb官方手册. 1.2 存储机制和操作方式 数据类型之所以能限定字段的数据存储长度,是因为在创建表时在内存中严格划定了地址空间,地址空间的长度是多少就能存储多少字节的数据.当然

  • MySQL复制优点、原理详解

    复制是将主数据库的DDL和DML操作通过二进制日志传到从库上,然后再从库重做,从而使得从库和主库保持数据的同步.MySQL可以从一台主库同时向多台从库进行复制,从库同时也可以作为其他从库的主库,实现链式复制. MySQL复制的优点: 主库故障,可以快速切换至从库提供服务: 在从库执行查询操作,降低主库的访问压力: 在从库执行备份,避免备份期间对主库影响: MySQL复制原理 1.MySQL主库在事务提交时会把数据变更作为事件Events记录在Binlog中,主库上的sync_binlog参数控制

  • mysql 复制原理与实践应用详解

    本文实例讲述了mysql 复制原理与实践应用.分享给大家供大家参考,具体如下: 复制功能是将一个mysql数据库上的数据复到一个或多个mysql从数据库上. 复制的原理:在主服务器上执行的所有DDL和DML语句都会被记录到二进制日志中,这些日志由连接到它的从服务器获取,并复制到从库,并保存为中继日志, 这个过程由一个称为 IO线程 的线程负责,还有一个称为 SQL线程 的则按顺序执行中继日志中的语句. 复制有多种拓扑形式: 1.传统复制,一主多从,一个主服务器多个从服务器. 2.链式复制,一台服

  • MySQL索引机制的详细解析及原理

    MySQL索引机制的详细解析及原理

    目录 一.索引的类型与常见的操作 二.常见的索引详解与创建 三.索引的原理 1.通过实验介绍B+tree 2.延伸 四.聚簇索引和非聚簇索引 1.使用聚簇索引的优势 2.什么情况下无法使用索引 总结 一.索引的类型与常见的操作 前缀索引 MySQL 前缀索引能有效减小索引文件的大小,提高索引的速度.但是前缀索引也有它的坏处:MySQL 不能在 ORDER BY 或 GROUP BY 中使用前缀索引,也不能把它们用作覆盖索引(Covering Index). 复合索引 集一个索引包含多个列(最左前

  • SpringBoot详细讲解断言机制原理

    SpringBoot详细讲解断言机制原理

    目录 1.简单断言 2.数组断言 3.组合断言 4.异常断言 5.超时断言 6.快速失败 JUnit 5 内置的断言可以分成如下几个类别: 1.简单断言 用来对单个值进行简单的验证.如: 方法 说明 assertEquals 判断两个对象或两个原始类型是否相等 assertNotEquals 判断两个对象或两个原始类型是否不相等 assertSame 判断两个对象引用是否指向同一个对象 assertNotSame 判断两个对象引用是否指向不同的对象 assertTrue 判断给定的布尔值是否为

随机推荐