MongoDB副本集丢失数据的测试实例教程

在MongoDB副本集的测试中发现了一个丢数据的案例。

1. 概要描述

测试场景为：一主一从一验证

测试案例

step1 ：关闭从副本；

step 2 ；向主副本中插入那条数据；

step 3 ：关闭主副本；

step 4 ：开启辅助副本,此副本升级为主副本，这是后会看到新的主副本没有刚才插入的几笔数据。

----测试时，请注意测试步骤。

step 5 ：原主节点 再次加入到集群中后，会变成新的辅助副本。测试插入的数据会产生回滚。

2. 具体的测试步骤

（1）测试服务器，原测试环境

主Server：Port 副Server：Port 见证Server：Port
XXX.XXX.XXX.124:27220 XXX.XXX.XXX.123:27221 XXX.XXX.XXX.134:27220

（2）测试步骤

Step 1 向主数据库（XXX.XXX.XXX.124:27220），插入以下数据，执行时间要长一些。

for(var i = 0; i < 100000; i++) { db.order0522.insert({a: i});};

Step 2 在上述命令执行的过程中，关于副主Server上的mongodb服务，服务命名为mongodboplogtest.service

systemctl stop mongodboplogtest.service

Step 3.查询主副本上数据库insert的数据量，为100000.命令完全插入。

Step 4.关闭主副本上的Mongodb 服务，服务命名为mongodboplogtest.service

systemctl stop mongodboplogtest.service

Step 5 开启辅助节点上的MongoDB服务

systemctl start mongodboplogtest.service

step 6 此时辅助节点（XXX.XXX.XXX.123）升级为主节点，此时数据为30337(100000-30337 笔记录丢失了)

此时 124 （原主节点）为"stateStr" : "(not reachable/healthy)"

step 7 开启原主节点上的服务，集群的状态，关于原主节点的描述短暂处于"stateStr" : "ROLLBACK"

step 8 回滚后，状态变为"stateStr" : "SECONDARY"

step 9 查询原主节点数据，此时数据量为30337(100000-30337 笔也记录丢失了)

3.丢失的数据是否可以找到

我们发现，重启原主节点（XXX.XXX.XXX.124）mongodb服务后，在数据目录下多了一个rollback 目录。

重启前的数据目录

重启后的数据目录

进去这个目录后，我们看到生成了一个以数据库+集合名字+时间的 bson 文件。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • CentOS 6.4创建Mongodb副本集

    MongoDB是一个开源的non-SQL数据库引擎. MongoDB是可扩展的,是标准关系数据库管理系统(RDBMS)的替代品. 副本集可以使在节点发生故障时还能提供对您的数据的访问. 安装MongoDB 1.确保在副本集的每个成员设置好hostname nano /etc/hostname /etc/hostname: europa 2.创建一个文件以保存MongoDB存储库的配置信息: sudo touch /etc/yum.repos.d/mongodb.repo 3.如果运行的是64位系

  • Mongodb 副本集搭建问题总结及解决办法

    Mongodb 副本集搭建问题总结及解决办法

    Mongodb 副本集搭建问题总结及解决办法 Mongodb数据库的副本集是由多台服务器组成,基中一台是主节点,其它为从节点,如果主节点宕机就自动切换到任意一个从节点.如果以前的主节点修复完成和正常运行就自动变成从节点,从节点不能查询数据.也可以在一台服务器装多个Mongodb端口不一样. 在我以往的认知中,一个系统一旦正式上线,多半不会轻易的迁移服务器,尤其是那种涉及到多个关联应用,涉及到多台硬件服务器的系统,因为这种迁移将是牵一发而动全身的. 但是,却仍然有这种情况存在,就如我这几天主要负责

  • 详解MongoDB中用sharding将副本集分配至服务器集群的方法

    关于副本集 副本集是一种在多台机器同步数据的进程. 副本集体提供了数据冗余,扩展了数据可用性.在多台服务器保存数据可以避免因为一台服务器导致的数据丢失. 也可以从硬件故障或服务中断解脱出来,利用额外的数据副本,可以从一台机器致力于灾难恢复或者备份. 在一些场景,可以使用副本集来扩展读性能.客户端有能力发送读写操作给不同的服务器. 也可以在不同的数据中心获取不同的副本来扩展分布式应用的能力. mongodb副本集是一组拥有相同数据的mongodb实例,主mongodb接受所有的写操作,所有的其他实

  • MongoDB的主从复制及副本集的replSet配置教程

    复制 MongoDB的复制功能很重要,尤其是现在的存储引擎还不支持单击持久性.不仅可以用复制来应对故障切换,数据集成,还可以做读扩展,热备份或作为离线批处理的数据源. 1.主从复制 主从复制是MongoDB最常用的复制方式.可用于备份,故障恢复和读扩展等. 基本就是搭建一个主节点和一个或多个从节点,每个从节点需要知道主节点的地址.运行mongod --master启动主服务器.运行mongod --slave --source master_address启动从服务器. [root@test02

  • Mongodb3.0.5 副本集搭建及spring和java连接副本集配置详细介绍

    Mongodb3.0.5 副本集搭建及spring和java连接副本集配置详细介绍 一.基本环境: mongdb3.0.5数据库 spring-data-MongoDB-1.7.2.jar mongo-Java-driver-3.0.2.jar Linux-redhat6.3 tomcat7 二.搭建mongodb副本集: 1.  分别在三台linux系统机上安装mongodb,(为避免和机器上原有的mongodb端口冲突,这里设为57017): 192.168.0.160 192.168.0.

  • mongodb3.4集群搭建实战之高可用的分片+副本集

    mongodb3.4集群搭建实战之高可用的分片+副本集

    前言 最近因为工作的原因,在学习使用mongodb数据库,mongodb是最常用的nodql数据库,在数据库排名中已经上升到了前六.这篇文章介绍如何搭建高可用的mongodb(分片+副本)集群,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 在搭建集群之前,需要首先了解几个概念:路由,分片.副本集.配置服务器等. 相关概念 先来看一张图: 从图中可以看到有四个组件:mongos.config server.shard.replica set. mongos,数据库集群请求的入口,

  • MongoDB副本集丢失数据的测试实例教程

    在MongoDB副本集的测试中发现了一个丢数据的案例. 1. 概要描述 测试场景为:一主一从一验证 测试案例 step1 :关闭从副本: step 2 :向主副本中插入那条数据: step 3 :关闭主副本: step 4 :开启辅助副本,此副本升级为主副本,这是后会看到新的主副本没有刚才插入的几笔数据. ----测试时,请注意测试步骤. step 5 :原主节点 再次加入到集群中后,会变成新的辅助副本.测试插入的数据会产生回滚. 2. 具体的测试步骤 (1)测试服务器,原测试环境 主Serve

  • MongoDB 副本集的搭建过程

    今天的内容说下副本集的搭建过程吧. 下面的例子,是我自己在一台腾讯云服务器上搭建的过程,每个操作步骤都有,写出来大家看看. 本次操作是搭建一主,一从.一仲裁的三节点副本集,具体的过程如下: 1.创建节点目录 mkdir -p /data/mongo_28018/{data,log} mkdir -p /data/mongo_28019/{data,log} mkdir -p /data/mongo_28020/{data,log} 2.创建配置文件,配置文件内容如下: storage:   db

  • php数据序列化测试实例详解

    php数据序列化测试实例详解 测试代码 $msg = ['test'=>23]; $start = microtime(true); for($i=0;$i<100000;$i++){ $packMsg = msgpack_pack($msg); } echo 'pack len:'.strlen($packMsg)."\r\n"; $end = microtime(true); echo 'run time:'.($end-$start).'s'."\r\n&q

  • MongoDB中实现多表联查的实例教程

    前些天遇到一个需求,不复杂,用 SQL 表现的话,大约如此: SELECT * FROM db1 LEFT JOIN db2 ON db1.a = db2.b WHERE db1.userId='$me' AND db2.status=1 没想到搜了半天,我厂的代码仓库里没有这种用法,各种教程也多半只针对合并查询(即只筛选 db1,没有 db2 的条件).所以最后只好读文档+代码尝试,终于找到答案,记录一下. 我们用 mongoose 作为连接库 联查需要用 $lookup 如果声明外键的时候用

  • 聊聊MongoDB 带访问控制的副本集部署问题

    聊聊MongoDB 带访问控制的副本集部署问题

    目录 一.下载MongoDBServer及MongoDBShell 二.副本集初始化 三.增加访问控制 当你需要用到一个MongoDB 副本集集群,用于开发测试时, 可以通过下面的步骤简单完成. 版本及环境 MongoDB4.4 Centos6.5 一.下载 MongoDB Server 及 MongoDB Shell MongoDB Server 提供数据库服务. Mongo Shell 可以理解为命令行的客户端程序. 下载地址:https://www.mongodb.com/try/down

  • 如何为MongoDB添加分片副本集

    如何为MongoDB添加分片副本集

    背景是这样的:线上一个MongoDB集群保存了很多历史数据,这些历史数据是按照时间字段进行分片的,最近到了2021年,有些分片的截止时间要到了,为了能容纳更多的数据,需要在当前分片的基础上增加相应的分片. 线上环境中,每个分片本身也是一个3副本的副本集,所以添加的时候有些特定的流程需要注意,我再测试环境中简单测了一下这个过程,记录下来. 整个过程大概的流程是: 1.新建分片副本集 2.使用addShard命令将分片副本集添加到集群中 3.使用addShardTag命令为分片打标签 4.使用add

  • docker搭建mongodb单节点副本集的实现

    目录 背景 启动步骤 可能遇到的问题 解决办法 背景 在开发中,我们很容易通过docker启动一个普通的mongodb数据库服务.但是有时候为了保持与线上环境一致,或者为了利用mongodb副本集的某些特性,我们需要在本地部署mongodb副本集.副本集往往需要启动多个mongodb服务作为副本集成员,而通常用于开发的笔记本资源比较有限.鉴于此,官方文档给了解决办法,可以直接将一个单节点mongodb服务转换为单节点副本集(standlone replica set)(https://www.m

随机推荐