详解MongoDB中用sharding将副本集分配至服务器集群的方法

关于副本集

副本集是一种在多台机器同步数据的进程。
副本集体提供了数据冗余,扩展了数据可用性。在多台服务器保存数据可以避免因为一台服务器导致的数据丢失。
也可以从硬件故障或服务中断解脱出来,利用额外的数据副本,可以从一台机器致力于灾难恢复或者备份。

在一些场景,可以使用副本集来扩展读性能。客户端有能力发送读写操作给不同的服务器。
也可以在不同的数据中心获取不同的副本来扩展分布式应用的能力。

mongodb副本集是一组拥有相同数据的mongodb实例,主mongodb接受所有的写操作,所有的其他实例可以接受主实例的操作以保持数据同步。
主实例接受客户可的写操作,副本集只能有一个主实例,因为为了维持数据一致性,只有一个实例可写,主实例的日志保存在oplog。

Client Application Driver
  Writes  Reads
    |   |
    Primary
  |Replication|Replication
Secondary    Secondary

二级节点复制主节点的oplog然后在自己的数据副本上执行操作,二级节点是主节点数据的反射,如果主节点不可用,会选举一个新的主节点。默认读操作是在主节点进行的,但是可以指定读取首选项参数来指定读操作到副本节点。
可以添加一个额外的仲裁节点(不拥有被选举权),使副本集节点保持奇数,确保可以选举出票数不同的直接点。仲裁者并不需要专用的硬件设备。
仲裁者节点一直会保存仲裁者身份。

1.异步复制
副本节点同步直接点操作是异步的,然而会导致副本集无法返回最新的数据给客户端程序。

2.自动故障转移
如果主节点10s以上与其他节点失去通信,其他节点将会选举新的节点作为主节点。
拥有大多数选票的副节点会被选举为主节点。

副本集提供了一些选项给应用程序,可以做一个成员位于不同数据中心的副本集。
也可以指定成员不同的优先级来控制选举。

sharding转换一个副本集为分片集群
1. 部署一个测试副本集
创建第一个副本集实例,名称为firstset:
1.1 创建副本集并且插入数据如下:

  /data/example/firstset1
  /data/example/firstset2
  /data/example/firstset3

创建目录:

mkdir -p /data/example/firstset1 /data/example/firstset2 /data/example/firstset3

1.2 在其他终端启动三个mongodb实例,如下:

mongod --dbpath /data/example/firstset1 --port 10001 --replSet firstset --oplogSize 700 --rest --fork --logpath /data/example/firstset1/firstset1.log --logappend --nojournal --directoryperdb
mongod --dbpath /data/example/firstset2 --port 10002 --replSet firstset --oplogSize 700 --rest --fork --logpath /data/example/firstset2/firstset2.log --logappend --nojournal --directoryperdb
mongod --dbpath /data/example/firstset3 --port 10003 --replSet firstset --oplogSize 700 --rest --fork --logpath /data/example/firstset3/firstset3.log --logappend --nojournal --directoryperdb

--oplog选项强制每个mongodb实例操作日志为700M,不使用该参数则默认为分区空间的5%,限制oplog的大小,可以使每个实例启动的快一点。
1.3 连接一个mongodb实例的shell

mongo mongo01:10001/admin

如果是运行在生产环境下,或者不同主机名或IP的机器上,需要修改mongo01为指定名称。
1.4 在mongo shell上初始化副本集

var config = {
  "_id" : "firstset",
  "members" : [
    {"_id" : 0, "host" : "mongo01:10001"},
    {"_id" : 1, "host" : "mongo01:10002"},
    {"_id" : 2, "host" : "mongo01:10003"},
  ]
}
rs.initiate(config);
{
    "info" : "Config now saved locally. Should come online in about a minute.",
    "ok" : 1
}

db.runCommand(
  {"replSetInitiate" :
    {"_id" : "firstset",
    "members" : [
      {"_id" : 0, "host" : "mongo01:10001"},
      {"_id" : 1, "host" : "mongo01:10002"},
      {"_id" : 2, "host" : "mongo01:10003"}
      ]
    }
  }
)

1.5 在mongo shell中创建并插入数据:

use mydb
switched to db mydb
animal = ["dog", "tiger", "cat", "lion", "elephant", "bird", "horse", "pig", "rabbit", "cow", "dragon", "snake"];
for(var i=0; i<100000; i++){
  name = animal[Math.floor(Math.random()*animal.length)];
  user_id = i;
  boolean = [true, false][Math.floor(Math.random()*2)];
  added_at = new Date();
  number = Math.floor(Math.random()*10001);
  db.test_collection.save({"name":name, "user_id":user_id, "boolean": boolean, "added_at":added_at, "number":number });
}

上面的操作会向集合test_collection插入100万条数据,根据系统不同,可能会花费几分钟的时间。
脚本会加入如下格式的文档:

2. 部署一个分片设施
创建三个配置服务器来保存集群的元数据。
对于开发或者测试环境下,一个配置服务器足够了,在生产环境下,需要三天配置服务器,因为它们只需要占用很少的资源来保存元数据。
2.1 创建配置服务器的数据文件保存目录:

  /data/example/config1
  /data/example/config2
  /data/example/config3

创建目录:

mkdir -p /data/example/config1 /data/example/config2 /data/example/config3

2.2 在另外的终端下,启动配置服务器

mongod --configsvr --dbpath /data/example/config1 --port 20001 --fork --logpath /data/example/config1/config1.log --logappend
mongod --configsvr --dbpath /data/example/config2 --port 20002 --fork --logpath /data/example/config2/config2.log --logappend
mongod --configsvr --dbpath /data/example/config3 --port 20003 --fork --logpath /data/example/config3/config3.log --logappend

2.3 在另外的终端下,启动mongos实例:
mongos --configdb mongo01:20001,mongo01:20002,mongo01:20003 --port 27017 --chunkSize 1 --fork --logpath /data/example/mongos.log --logappend
如果使用的是以前创建的表或者测试环境下,可以使用最小的chunksize(1M),默认chunksize为64M意味着在mongodb自动分片启动前,集群必须拥有64MB的数据文件。
在生产环境下是不能使用很小的分片大小的。
configdb选项指定了配置服务器。mongos实例运行在默认的mongodb27017端口。
2.4 可以在mongos添加第一个分片,在新的终端执行以下命令:
2.4.1 连接mongos实例

mongo mongo01:27017/admin

2.4.2 使用addShard命令添加第一个分片

db.runCommand( { addShard : "firstset/mongo01:10001,mongo01:10002,mongo01:10003" } )

2.4.3 出现以下信息,表示成功:

{ "shardAdded" : "firstset", "ok" : 1 }

3. 部署另一个测试副本集
创建另外一个副本集实例,名称为secondset:
3.1 创建副本集并且插入数据如下:

  /data/example/secondset1
  /data/example/secondset2
  /data/example/secondset3

创建目录:

mkdir -p /data/example/secondset1 /data/example/secondset2 /data/example/secondset3

3.2 在其他终端启动三个mongodb实例,如下:

mongod --dbpath /data/example/secondset1 --port 30001 --replSet secondset --oplogSize 700 --rest --fork --logpath /data/example/secondset1/secondset1.log --logappend --nojournal --directoryperdb
mongod --dbpath /data/example/secondset2 --port 30002 --replSet secondset --oplogSize 700 --rest --fork --logpath /data/example/secondset2/secondset2.log --logappend --nojournal --directoryperdb
mongod --dbpath /data/example/secondset3 --port 30003 --replSet secondset --oplogSize 700 --rest --fork --logpath /data/example/secondset3/secondset3.log --logappend --nojournal --directoryperdb

3.3 连接一个mongodb实例的shell

mongo mongo01:20001/admin

3.4 在mongo shell上初始化副本集

db.runCommand(
  {"replSetInitiate" :
    {"_id" : "secondset",
    "members" : [
      {"_id" : 0, "host" : "mongo01:30001"},
      {"_id" : 1, "host" : "mongo01:30002"},
      {"_id" : 2, "host" : "mongo01:30003"}
      ]
    }
  }
)

3.5 将该副本集加入分片集群

db.runCommand( { addShard : "secondset/mongo01:30001,mongo01:30002,mongo01:30003" } )

返回成功信息:

{ "shardAdded" : "firstset", "ok" : 1 }

3.6 通过运行listShards命令证实分片都添加成功。如下:

db.runCommand({listShards:1})
{
  "shards" : [
    {
      "_id" : "firstset",
      "host" : "firstset/mongo01:10001,mongo01:10002,mongo01:10003"
    },
    {
      "_id" : "secondset",
      "host" : "secondset/mongo01:30001,mongo01:30002,mongo01:30003"
    }
  ],
  "ok" : 1
}
(0)

相关推荐

  • MongoDB的分片集群基本配置教程

    为何要分片 1.减少单机请求数,降低单机负载,提高总负载 2.减少单机的存储空间,提高总存空间. 常见的mongodb sharding 服务器架构 要构建一个 MongoDB Sharding Cluster,需要三种角色: 1.Shard Server 即存储实际数据的分片,每个Shard可以是一个mongod实例,也可以是一组mongod实例构成的Replication Set.为了实现每个Shard内部的auto-failover(自动故障切换),MongoDB官方建议每个Shard为一

  • mongodb 集群重构和释放磁盘空间实例详解

    MongoDB集群重构,释放磁盘空间 由于mongodb删除了一部分数据后,不会回收相应的磁盘空间,所以这里通过重建数据目录的方式释放磁盘空间. 一 实验环境 配置了一个副本集,该副本集由以下三个节点组成: 10.192.203.201:27017 PRIMARY 10.192.203.202:27017 SECONDARY 10.192.203.202:10001  ARBITER 二 实验步骤 2.1 模拟环境 use dba; for(var i=0;i<1000000;i++)db.c.

  • mongodb3.4集群搭建实战之高可用的分片+副本集

    前言 最近因为工作的原因,在学习使用mongodb数据库,mongodb是最常用的nodql数据库,在数据库排名中已经上升到了前六.这篇文章介绍如何搭建高可用的mongodb(分片+副本)集群,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 在搭建集群之前,需要首先了解几个概念:路由,分片.副本集.配置服务器等. 相关概念 先来看一张图: 从图中可以看到有四个组件:mongos.config server.shard.replica set. mongos,数据库集群请求的入口,

  • 详解MongoDB中用sharding将副本集分配至服务器集群的方法

    关于副本集 副本集是一种在多台机器同步数据的进程. 副本集体提供了数据冗余,扩展了数据可用性.在多台服务器保存数据可以避免因为一台服务器导致的数据丢失. 也可以从硬件故障或服务中断解脱出来,利用额外的数据副本,可以从一台机器致力于灾难恢复或者备份. 在一些场景,可以使用副本集来扩展读性能.客户端有能力发送读写操作给不同的服务器. 也可以在不同的数据中心获取不同的副本来扩展分布式应用的能力. mongodb副本集是一组拥有相同数据的mongodb实例,主mongodb接受所有的写操作,所有的其他实

  • 详解MongoDB范围片键和哈希片键

    01 片键 MongoDB的片键决定了集合中存储的数据在集合中的分布情况,具体的方法是使用片键值的范围来对集合中的数据进行分区.举个例子: 假如我们以年龄age来作为片键,那么age的范围理论上是0~80,此时,MongoDB会为我们定义age的四个范围区间,他们分别是:0~20,20~40,40~60,60~80,每个范围都是一个chunk,这样我们写入数据之后,数据里面的数据块就有: chunk1:  age  0~20 chunk2:  age  20~40 chunk3:age  40~

  • 详解mongoDB主从复制搭建详细过程

    详解mongoDB主从复制搭建详细过程 实验目的搭建mongoDB主从复制 主 192.168.0.4 从 192.168.0.7 mongodb的安装 1: 下载mongodb www.mongodb.org 下载最新的stable版 查看自己服务器 适合哪个种方式下载(wget 不可以的 可以用下面方式下载) wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.0.5.tgz curl -O -L https

  • 详解MongoDB的角色管理

    NO.1 MongoDB内建角色 内建角色的种类和特点? 想要了解内建角色,还是少不了下面这张图,在MongoDB中,用户的权限是通过角色绑定的方法来分配的.把某个角色绑定在某个用户上,那么这个用户就有这个角色对应的权限了. MongoDB 4.0中的内建角色类型如下: 这里对上面的内建角色所拥有的权限做以说明: 数据库用户角色: read:用于读取所有非系统集合,以及下面三个系统集合: system.indexes.system.js以及system.namesp readWrite:拥有re

  • 详解MongoDB中的日志模块

    今天简单研究了一下MongoDB里面的日志模块,写篇文章记录下. 01 MongoDB日志组件种类及日志等级 每种数据库都有自己的日志模块,MongoDB也不例外,通常情况下,一个数据库的日志中,记录的是数据库的连接信息.存储信息.网络信息.索引信息以及查询信息等.从MongoDB3.0版本开始,MongoDB在日志中引入了日志等级和日志组件的概念,作为DBA来讲,关注的最多的应该是慢查询日志和连接日志. 在MongoDB中,我们可以通过下面的命令,来获取所有的日志组件种类和对应的日志等级: d

  • 详解三分钟快速搭建分布式高可用的Redis集群

    这里的Redis集群指的是Redis Cluster,它是Redis在3.0版本正式推出的专用集群方案,有效地解决了Redis分布式方面的需求.当单机内存.并发.流量等遇到瓶颈的时候,可以采用这种Redis Cluster方案进行解决. 分区规则 Redis Cluster采用虚拟槽(slot)进行数据分区,即使用分散度良好的哈希函数把所有键映射到一个固定范围的整数集合里,这里的整数就是槽(slot).Redis Cluster槽的范围是0~16383,计算公式:slot=CRC16(key)

  • 详解MongoDB的条件查询和排序

    目录 find 方法 条件组合 比较操作符 IN 查询 限制返回结果条数和跳过数据 排序 总结 find 方法 查询的基本格式是db.collection.find({条件}),其中条件是可选的,类似于 MySQL 的 WHERE 条件一样.示例如下: // 查找全部文档 db.collection.find({}); // 查找指定条件的文档 db.collection.find({key: value}); // 查找昵称为岛上码农的用户 db.users.find({nickname: '

  • 详解vue中在循环中使用@mouseenter 和 @mouseleave事件闪烁问题解决方法

    最近在项目中实现在循环出来的图片中当鼠标移入隐藏当前图片显示另一张图片的需求时碰到了一个小问题.就是当使用@mouseenter 和@mouseleave事件来实现这个需求时却发现鼠标移入后图片出现闪烁现象. 重点:事件写到父元素上才行!!! 0.0 下面写下我的实现方法和实现效果 样式代码: <div class="imgs" v-for="(item,index) in exampleUrl" :key = index @mouseenter ="

  • 详解如何在Ubuntu 20.04上安装Xrdp服务器(远程桌面)

    Xrdp 是一个微软远程桌面协议(RDP)的开源实现,它允许你通过图形界面控制远程系统.通过 RDP,你可以登录远程机器,并且创建一个真实的桌面会话,就像你登录本地机器一样. 这篇指南讲解如何在 Ubuntu 20.04 上安装和配置 Xrdp 服务器. 一.安装桌面环境 Ubuntu 服务器通常使用命令行进行管理,并且默认没有安装桌面环境.如果你正在运行 Ubuntu 桌面版,忽略这一步. 在 Ubuntu 源仓库有很多桌面环境供你选择.一个选择是安装 Gnome,它是 Ubuntu 20.0

  • 详解Vue ElementUI手动上传excel文件到服务器

    概述 具体需求场景如下: 选择excel文件后,需要把导入的excel文件手动上传到后台服务器,并将导入成功后的统计结果显示出来.官网也有手动上传的示例,通过 action="url" 传入地址的方式,但在实际项目中请求需要自己配置,下面具体说明实现的方法. 说明: 在上传文件到展示统计结果,我们后端给了两个接口:首先调用文件上传接口,上传成功后,根据后端返回的mark再调用统计结果接口. 属性设置 .vue文件 <el-row> <div class="e

随机推荐