一次因mongo查询不存在字段引发的事故记录

话说今天的一个小小的查询失误给了我比较深刻的教训，也让我对mongo有了更深刻的理解，下面我们来说说这个事情的原委：

我们经常使用阿里云子账号在DMS上查询线上数据库数据，今天也是平常的一次操作

集合：

XXXX_message<br>数据量约 600万

我执行了下面的mongo查询：

db.XXXX_message.find({"channel_id": "1000000009XXXX700XXXX"}).limit(20);

但是上述语句中的 "channel_id" 字段不存在，真实字段应该是channel(有索引)，属于失误操作

在执行过程中，我发现查询时间很久，于是中断了查询又重试了两次，还是很久，最后中断了查询，我意识到我想查的字段可能错了，于是看了下集合索引，使用正确的字段检索得到结果

但就在这时候，一场事故也在悄然酝酿，2分钟后，阿里云监控中心打来告警电话，mongo数据库cpu、iops异常升高

起初并没有意识到是这个查询导致的，还以为是半小时前发布的版本可能有问题，于是立即回滚了版本并开始项目检查

查了许久，并没有查到可能造成本次数据库异常告警的原因，项目对该库的依赖的操作的地方非常少。

当我们苦苦想不到原因的时候，我们去查了下相关慢sql日志，果然一道耗时约1800000ms的慢sql日志引起了我们的注意

这时候我似乎意识到了点什么，我立马查阿里云控制台查询历史核对了我刚才查询的时间和数据库cpu、磁盘iops异常升高的时间节点

完全对上了，该起事故持续半小时左右，那条没有被成功中断的sql也执行了半小时左右

这让我很震惊，一次控制台查询居然导致整个数据库出现如此严重的问题，mongo底层没有考虑过不存在字段查询问题吗？

我慢慢平复心情，仔细回顾这件事情，我尝试着从mongo和mysql的底层去理解这个问题

mongo本身是集合型数据库，意味着每个集合文档都可以有自己独立的数据结构，和mysql等关系型数据库的很重要的区别就是它没有固定的表结构，它包容且随性

当在查询一个不存在的字段的时候，它仍然按照普通查询检索数据，这时候它会全表扫描，也就是说在上述失误语句中，mongo底层检索了整个集合的数据集，

遍历了该集合所有的磁盘块，这才导致磁盘iops升高且cpu升高。

这次经历让我觉得我有必要记录下相关心得，可能对于很多高级技术人员，这些东西都是很容易理解和规避的事情，但大多数人对此可能并没有深刻认识

这次事故让我对技术多了一层敬畏，这有助于我在今后的代码实践和操作中更加谨慎和多一层思考，希望大家以此为戒！此文共勉！

到此这篇关于一次因mongo查询不存在字段引发的事故记录的文章就介绍到这了,更多相关mongo查询不存在字段的事故内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • 一次因mongo查询不存在字段引发的事故记录

    一次因mongo查询不存在字段引发的事故记录

    话说今天的一个小小的查询失误给了我比较深刻的教训,也让我对mongo有了更深刻的理解,下面我们来说说这个事情的原委: 我们经常使用阿里云子账号在DMS上查询线上数据库数据,今天也是平常的一次操作 集合: XXXX_message<br>数据量约 600万 我执行了下面的mongo查询: db.XXXX_message.find({"channel_id": "1000000009XXXX700XXXX"}).limit(20); 但是上述语句中的 &qu

  • spring boot整合mongo查询converter异常排查记录

    spring boot整合mongo查询converter异常排查记录

    目录 前言 自定义转换器 javabean的方式配置MongoTemplate 后记: 前言 使用过spring boot的人都知道spring boot约定优于配置的理念给我们开发中集成相关技术框架提供了很多的便利,集成mongo也是相当的简单,但是通过约定的配置信息来集成mongo有些问题. 当你的字段包含Timestamp这种类型时,读取数据的时候会抛一个类型转换的异常,如 No converter found capable of converting from type [java.u

  • Access使用查询--1.1. 用选择查询建立计算字段

    Access使用查询--1.1. 用选择查询建立计算字段

    1. 用选择查询建立计算字段 建一个选择查询,添加"车队运输"表,将其所有字段拖拽到设计网格中.如图一所示,只要在空白列中填写"净重:毛重-皮重",系统会自动为"毛重"和"皮重"加上"[   ]",表示它们是字段.把这个查询保存为"车队运输查询". 下面的表格就是刚制作的车队运输查询,净重是自动计算的: 车队运输查询 司机 货物类别 毛重 皮重 净重 李大方 其他 75.00 25.00

  • ThinkPHP查询返回简单字段数组的方法

    本文实例讲述了ThinkPHP查询返回简单字段数组的方法,是ThinkPHP程序设计中一个很实用的功能.具体方法如下: 通常来说使用select语句.返回的都是结构较复杂的字段数组.如以下是一个简单的查询: $map['parentid'] = $id; $sub_ids = D('Category')->where($map)->field("catid")->select(); 查询后,得到的结果是: [{"catid":"23&qu

  • SQL重复记录查询 查询多个字段、多表查询、删除重复记录的方法

    SQL重复记录查询 1.查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断 select * from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1) 例二:  select * from testtable where numeber in (select number from people group by numbe

  • laravel model模型处理之修改查询或修改字段时的类型格式案例

    先了解一下此图,有助于理解 通过上图了解 这将在原有的列上添加一列is_admin,这需要通过属性访问时才会获得,如果我们希望在获得数据的时候被一起返回,则还需要append属性 class User extends Model{ //设置方法名称 protected $appends = ['is_admin','type']; //查询时 修改 字段格式或者值 [自动触发,无需调用] public function getIsAdminAttribute() { return $this->

  • laravel 解决paginate查询多个字段报错的问题

    用laravel 框架想实现一个分页接口,返回数据表中其中一部分字段 $list = DB::table('booklist_table')->orderBy('create_time','asc')->paginate($size,['id','title','author','image'])->toJson(); return json_decode($list,true); 结果运行报错 "SQLSTATE[42000]: Syntax error or access

  • 详解MySQL like如何查询包含'%'的字段(ESCAPE用法)

    详解MySQL like如何查询包含'%'的字段(ESCAPE用法)

    在SQl like语句中,比如 SELECT * FROM user WHERE username LIKE '%luchi%' SELECT * FROM user WHERE username LIKE '_luchi_', % 作为通配符通配多个 _ 作为通配符通配一个 但当like 所要查询的字段中含有 % ,我们如何去查: 这个时候就需要指明 字段中的那个'%' 不作为通配符: 这里就需要用到 ESCAPE 转义 测试: 这里我们使用这张表 转义前: SELECT * FROM use

  • Mybatis Plus查询时sql字段名大小写报错的解决

    Mybatis Plus查询时sql字段名大小写报错的解决

    目录 Mybatis Plus查询时sql字段名大小写报错 遇到报错 错误解析 解决方案 Mybatis Plus返回map大小写问题 Mybatis Plus查询时sql字段名大小写报错 遇到报错 错误解析 在数据库中没有找到img_url 列 数据库字段名是是大写 解决方案 在application.properties中加: mybatis-plus.configuration.map-underscore-to-camel-case=false 完美运行~ Mybatis Plus返回m

  • jpa实现只查询指定的字段

    目录 jpa查询指定的字段 下面是实例代码 spring data jpa查询自定义查询字段 jpa查询指定的字段 JpaRepository中new的方式产生新的对象,并配置好其构造函数 JPA对字段命名有一点规则,推荐使用驼峰式命名,如果下面的方法会报错,并且没有明确的报错信息,请先看字段是否合法!!!!! 下面是实例代码 JpaRepository: @Transactional public interface PayeeDataRepo extends JpaRepository<Pa

随机推荐