Redis主从复制问题和扩容问题的解决思路

一、解决主从复制问题

当使用Redis作为存储引擎的时候，并且使用Redis读写分离，从机作为读的情况，从机宕机或者和主机断开连接都需要重新连接主机，重新连接主机都会触发全量的主从复制，这时候主机会生成内存快照，主机依然可以对外提供服务，但是作为读的从机，就无法提供对外服务了，如果数据量大，恢复的时间会相当的长。为了解决Redis主从Copy的问题，有如下两个解决方案：

主动复制
所谓主动复制，就是业务层双写多个Redis，避开Redis自带的主从复制。但是自己干同步，就会产生一致性问题，为了保证主从一致，需要加入一系列的验证机制。而且这样的做法，会降低系统性能。
修改源代码，支持增量同步
Redis写AOF文件，关闭Redis rewrite AOF文件功能，为了避免文件过大，可以自己实现文件分割功能。
在业务低峰时期，生成内存快照，并记录快照时刻AOF所在的点。
当从机重连的时候，从机发送同步命令给主机，主机收到命令后，把最新的快照文件发送给从机，从机从快照文件中恢复，并且获得了该快照对应的AOF点，从机将AOF点发送给主机，主机将AOF文件中该点之后的所有数据操作同步给从机，达到增量同步的效果。

二、解决扩容问题

Redis作者的思路是：Redis Presharding（http://oldblog.antirez.com/post/redis-presharding.html）

预算设定Redis instances数量，假设实例数量n，n = 机器数*单台机器redis实例数
后期扩展只需要将旧机器上的部分redis实例迁移到新的机器上，达到平滑扩容。
迁移步骤如下：

在新的机器上创建实例，并且每个实例设置为被迁移实例的从机。
主从复制完成之后，设置程序将新的实例作为主。
停止旧的实例
经过如上步骤之后，旧机器的内存就变大了，最后内存最大为每台机器一个Redis实例。

按作者文章中所说的，一个机器启动多个实例，其实并不会耗费太多资源，因为Redis够轻量，另外多个实例一个接一个的重写AOF文件或者生成内存快照，可以降低内存的占用，而不影响对外的服务。

赞 (0)

相关推荐

  • Redis的主从同步解析

    一.Redis主从同步原理 1.1 Redis主从同步的过程 配置好slave服务器连接的master后,slave会建立和master的连接,然后发送sync命令.无论是第一次同步建立的连接还是连接断开后的重新连接,master都会启动一个后台进程,将数据库快照保存到文件中.同时master主进程会开始收集新的写命令并缓存起来.当后台进程完成写文件后,master就将快照文件发送给slave,slave将文件保存到磁盘上,然后加载到内存将数据库快照恢复到slave上.slave完成快照文件的恢

  • Redis主从实现读写分离

    前言 大家在工作中可能会遇到这样的需求,即Redis读写分离,目的是为了压力分散化.下面我将为大家介绍借助AWS的ELB实现读写分离,以写主读从为例. 实现 引用库文件 <!-- redis客户端 --> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.6.2</version> &l

  • Redis教程(九)：主从复制配置实例

    一.Redis的Replication: 这里首先需要说明的是,在Redis中配置Master-Slave模式真是太简单了.相信在阅读完这篇Blog之后你也可以轻松做到.这里我们还是先列出一些理论性的知识,后面给出实际操作的案例. 下面的列表清楚的解释了Redis Replication的特点和优势. 1). 同一个Master可以同步多个Slaves.     2). Slave同样可以接受其它Slaves的连接和同步请求,这样可以有效的分载Master的同步压力.因此我们可以将Redis的R

  • Redis主从复制问题和扩容问题的解决思路

    一.解决主从复制问题 当使用Redis作为存储引擎的时候,并且使用Redis读写分离,从机作为读的情况,从机宕机或者和主机断开连接都需要重新连接主机,重新连接主机都会触发全量的主从复制,这时候主机会生成内存快照,主机依然可以对外提供服务,但是作为读的从机,就无法提供对外服务了,如果数据量大,恢复的时间会相当的长.为了解决Redis主从Copy的问题,有如下两个解决方案: 主动复制所谓主动复制,就是业务层双写多个Redis,避开Redis自带的主从复制.但是自己干同步,就会产生一致性问题,为了保证

  • Redis击穿穿透雪崩产生原因分析及解决思路面试

    Redis击穿穿透雪崩产生原因分析及解决思路面试

    目录 1.前言 2.问题起因 3.应对击穿的处理思路 4.穿透 5.雪崩 结束 1.前言 大家都知道,计算机的瓶颈之一就是IO,为了解决内存与磁盘速度不匹配的问题,产生了缓存,将一些热点数据放在内存中,随用随取,降低连接到数据库的请求链接,避免数据库挂掉.需要注意的是,无论是击穿还是后面谈到的穿透与雪崩,都是在高并发前提下,比如当缓存中某一个热点key失效. 2.问题起因 有两个主要原因: 1.Key过期: 2.Key被页面置换淘汰. 对于第一个原因是因为在Redis中,Key有过期时间,如果某

  • 浅谈Redis主从复制以及主从复制原理

    浅谈Redis主从复制以及主从复制原理

    面临问题 1. 机器故障.我们部署到一台 Redis 服务器,当发生机器故障时,需要迁移到另外一台服务器并且要保证数据是同步的.而数据是最重要的,如果你不在乎,基本上也就不会使用 Redis 了. 2. 容量瓶颈.当我们有需求需要扩容 Redis 内存时,从 16G 的内存升到 64G,单机肯定是满足不了.当然,你可以重新买个 128G 的新机器. 解决办法 要实现分布式数据库的更大的存储容量和承受高并发访问量,我们会将原来集中式数据库的数据分别存储到其他多个网络节点上.Redis 为了解决这个

  • redis主从复制原理的深入讲解

    前言 Redis持久化保证了即使redis服务重启也不会丢失数据,因为redis服务重启后会将硬盘上持久化的数据恢复到内存中,但是当redis服务器的硬盘损坏了可能会导致数据丢失,如果通过redis的主从复制机制就可以避免这种单点故障. 本文主要针对redis主从复制的原理进行了讲解,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧 1.复制过程 2.数据间的同步 3.全量复制 4.部分复制 5.心跳 6.异步复制 1.复制过程 从节点执行 slaveof 命令. 从节点只是保存了

  • Redis和数据库 数据同步问题的解决

    Redis和数据库 数据同步问题的解决

    缓存充当数据库 比如说Session这种访问非常频繁的数据,就适合采用这种方案:当然了,既然没有涉及到数据库,那么也就不会存在一致性问题: 缓存充当数据库热点缓存 读操作 目前的读操作有个固定的套路,如下: 客户端请求服务器的时候,发现如果服务器的缓存中存在,则直接取服务器的: 如果缓存中不存在,则去请求数据库,并且将数据库计算出来的数据回填给缓存: 返回数据给客户端: 写操作 各种情况会导致数据库和缓存出现不一致的情况,这就是缓存和数据库的双写一致性问题: 目前缓存存在三种策略,分别是 Cac

  • 详解Redis主从复制实践

    详解Redis主从复制实践

    复制简介 Redis 作为一门非关系型数据库,其复制功能和关系型数据库(MySQL)来说,功能其实都是差不多,无外乎就是实现的原理不同.Redis 的复制功能也是相对于其他的内存性数据库(memcached)所具备特有的功能. Redis 复制功能主要的作用,是集群.分片功能实现的基础:同时也是 Redis 实现高可用的一种策略,例如解决单机并发问题.数据安全性等等问题. 服务介绍 在本文环境演示中,有一台主机,启动了两个 Redis 示例. 实现方式 Redis 复制实现方式分为下面三种方式:

  • Redis主从复制操作和配置详情

    Redis主从复制操作和配置详情

    目录 前言 一.Redis-server环境变量 二.配置集群的Redis.conf 三.配置主从服务器 四.启动三台Redis服务器 前言 环境:CentOS7下安装Redis集群,默认已安装好5.0及以上版本,操作包括: Redis-server环境变量 配置配置集群的 Redis.confRedis主从配置和启动 测试主从机的数据一致性和读写分离 一.Redis-server环境变量 启动redis服务报错: -bash: redis-server: command not found 原

  • windows下使用redis requirepass认证不起作用的解决方法

    因为windows下面使用redis 有两个配置文件 分别是 redis.windows.conf和 redis.windows-service.conf 由于启动时候没有指定配置文件所以我们需要指定配置文件 1.设置密码,网上有很多,两种方案,第一种是命令行,第二种是修改安装目录下的redis.windows.conf配置文件, 找到 # requirepass foobared,去掉注释,变成! requirepass myPassword, ps:你会发现重启之后,毛线用处没有,在客户端,

  • Redis主从复制详解

    Redis主从复制详解

    单机Redis存在的问题 无法故障转移 ,无法避免单点故障 磁盘空间的瓶颈 QPS瓶颈 Redis主从复制的作用 提供数据副本 扩展读性能 配置方法 通过命令 通过配置文件 演示 为方便演示,在一台服务器上搭建redis主从(生产上不会这样做),根据端口区分. 主库 6379 从库 6380 编辑配置文件 vi  redis-6379.conf #后台进程启动 daemonize yes #端口 port 6379 #日志文件名称 logfile "6379.log" #Redis工作

  • 使用Docker搭建Redis主从复制的集群

    在主从复制模式的集群里,主节点一般是一个,从节点一般是两个或多个,写入主节点的数据会被复制到从节点上,这样一旦主节点出现故障,应用系统能切换到从节点去读写数据,这样能提升系统的可用性.而且如果再采用主从复制模式里默认的读写分离的机制,更能提升系统的缓存读写性能.所以对性能和实时性不高的系统而言,主从复制模式足以满足一般的性能和安全性方面的需求. 1 概述主从复制模式 在实际应用中,如果有相应的设置,在向一台Redis服务器里写数据后,这个数据可以复制到另外一台(或多台)Redis服务器,这里数据

随机推荐