MongoDB数据库的日志文件深入分析

前言

日志是MongoDB中一个非常重要的功能,他保证了数据库服务器在意外断电、自然灾害下数据的完整性 。MongoDB日志记录了数据库实例的健康状态、语句的执行状况、资源的消耗情况，所以日志对于分析数据库服务和性能优化很有帮助。

因此，很有必要花费一些时间来学习解析一下MongoDB的日志文件。

下面话不多说了，来一起看看详细的介绍吧。

日志信息的格式

<日志时间> <严重级别> <信息所属分类> [<内容>] <消息>

例如 ：

2014-11-03T18:28:32.450-0500 I NETWORK [initandlisten] waiting for connections on port 27017

日志信息严重级别


级别
级别描述

F
Fatal

E
Error

W
Warning

I
Informational, for Verbosity Level of 0

D
Debug, for All Verbosity Levels > 0

信息所属分类


日志分类
英文
分类描述

登入信息
ACCESS
登入访问相关的信息，例如登录验证情况。

命令信息
COMMAND
数据库执行命令相关信息，例如，查询。

控制管理信息
CONTROL
记录控制管理相关的信息，例如数据库初始化。

FTDC信息
FTDC（full-time diagnostic data ）
全程检测数据信息，例如Server的状态统计信息。

索引信息
INDEX
索引相关信息，例如索引的创建过程信息。

网络信息
NETWORK
网络相关信息，例如网络连接信息。

查询信息
QUERY
查询相关信息，例如查询计划信息。

副本集信息
REPL
副本集相关信息，例如副本集初始过程、心跳、回滚等信息

分片信息
SHARDING
分片相关信息，例如mongos的启动信息

存储信息
STORAGE
存储相关信息，例如将 storage 层的数据刷入磁盘的信息。

还原信息
RECOVERY
还原活动相关的信息

日志信息
JOURNAL
日志相关的信息

写操作信息
WRITE
写操作相关的信息，例如更新（update）的命令。

查询日志详细等级

MongoDB将日志详细等级划分为0~5

1.  0 是MongoDB日志的的默认级别，会包含 Informational  类信息。

2.  1~5 是调试级别，会记录客户端所有的完整请求

查询日志详细等级的命令。

 db.getLogComponents()

修改日志详细等级

修改日志详细等级的途径有两种。

第一种 设置logComponentVerbosity 参数来进行修改。

另外还需说明的一点是日志分类还可以进一步细化，

例如：将systemLog 整体设置为1，其中 query 子项 和storage子项 设置为2，而子项storage的子项设置journal再设置为1。

修改的具体命令为：

db.adminCommand( {

 setParameter: 1,

 logComponentVerbosity: {

  verbosity: 1,

  query: {

   verbosity: 2

  },

  storage: {

   verbosity: 2,

   journal: {

   verbosity: 1

   }

  }

 }

} )

第二种方法，通过 db.setLogLevel()进行修改。

此种方法多是针对单一的日志类别进行修改。另外还有一点需要特别指出，我们有时候会通过db.getLogComponents() 看到级别日志级别为-1，其实-1，代表和其父类别的等级一样。

例如，我们将query类别的日志的详细级别设置为父类（ systemLog）的日志详细级别，可以执行以下命令：

db.setLogLevel(-1, "query")

上面的两种方法都是修改，那么能否初始化是就配置呢？其实是可以的，我们只需要在初始配置文件中加入相应的参数就可以了，在此不再展开。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • Node.js和MongoDB实现简单日志分析系统

    Node.js和MongoDB实现简单日志分析系统

    在最近的项目中,为了便于分析把项目的日志都存成了JSON格式.之前日志直接存在了文件中,而MongoDB适时闯入了我的视线,于是就把log存进了MongoDB中.log只存起来是没有意义的,最关键的是要从日志中发现业务的趋势.系统的性能漏洞等.之前有一个用Java写的分析模块,运行在Tomcat下.实现相当的重量级,添加一个新指标的流程也比较繁琐,而且由于NFS的原因还导致分析失败.一直想改写,最初想用Ruby On Rails,可是一直没有时间学习和开发(在找借口啊!).在杭州QCon 201

  • MongoDB运行日志实现自动分割的方法实例

    前言 其实所谓自动分割MongoDB日志文件,就是指Rotate MongoDB log files,即让MongoDB每天(或每个星期,可自定义控制)生成一个日志文件,而不是将MongoDB所有的运行日志都放置在一个文件中,这样每个日志文件都相对较小,定位问题也更容易. 实现自动分割MongoDB日志的方法可以参考:https://docs.mongodb.com/manual/tutorial/rotate-log-files/ 现在以一个MongoDB实例为例,可以写一个脚本来实现自动分割

  • MongoDB中4种日志的详细介绍

    MongoDB中4种日志的详细介绍

    前言 任何一种数据库都有各种各样的日志,MongoDB也不例外.MongoDB中有4种日志,分别是系统日志.Journal日志.oplog主从日志.慢查询日志等.这些日志记录着MongoDB数据库不同方面的踪迹.下面分别介绍这几种日志. 系统日志 系统日志在MongoDB数据库中很重要,它记录着MongoDB启动和停止的操作,以及服务器在运行过程中发生的任何异常信息. 配置系统日志的方法比较简单,在启动mongod时指定logpath参数即可 mongod -logpath=/data/log/

  • MongoDB日志文件过大的解决方法

    MongoDB的日志文件在设置 logappend=true 的情况下,会不断向同一日志文件追加的,时间长了,自然变得非常大. 解决如下:(特别注意:启动的时候必须是--logpath指定了log路径的) 用mongo连接到服务端 复制代码 代码如下: use admin  //切换到admin数据库 db.runCommand({logRotate:1}) 这样会使mongo关闭当前日志文件,重启一个新的日志文件,不需要停止mongodb服务.

  • SpringBoot中logback日志保存到mongoDB的方法

    Springboot默认集成的就是logback,logback相对来说是优秀于log4j的,log4j2也是参考了logback的设计. 自定义Appender非常简单,继承一下AppenderBase类即可. 可以看到有个AppenderBase,有个UnsynchronizedAppenderBase,还有个AsyncAppenderBase继承了UnsynchronizedAppenderBase.从名字就能看出来区别,异步的.普通的.不加锁的. 我们定义一个MongoDBAppend

  • 使用MongoDB分析Nginx日志的方法详解

    使用MongoDB分析Nginx日志的方法详解

    本文我们要从日志文件中找出IP访问最多的10条记录,然后判断其是否合法,从而采取对应的措施.感兴趣的朋友们一起来看看吧. 日志解析流程 正常情况下,关于Nginx日志解析的流程如下所示: 一般情况下我们会对要解析的日志提前进行切分,常用的方式是按照日期,然后保存1个星期的日志.然后接下来就是日志的解析了,在这个过程中会使用到一些工具或编程语言,例如awk.grep.perl.python. 最后的入库和可视化处理一般视业务而定,没有强制的要求. 日志查询的解决方案 而关于Nginx日志解析的常用

  • Linux下定时切割Mongodb数据库日志并删除指定天数前的日志记录

    System.out和System.err都被打印到catalina.out.catalina.out不会rotate.一般在部署Tomcat后,运行久了,catalina.out文件会越来越大,对系统的稳定造成了一定的影响. 1.可通过修改conf/logging.properties日志配置文件来屏蔽掉这部分的日志信息. [root@localhost conf]# pwd /usr/local/tomcat/conf [root@localhost conf]# cp logging.pr

  • 如何利用MongoDB存储Docker日志详解

    如何利用MongoDB存储Docker日志详解

    前言 日志是系统很重要的一个组成部分,通过日志可以及时发现系统中存在的问题,也可以为修复问题提供线索.Docker提供了多种插件方式管理日志,本文就对使用MongoDB存储Docker日志的过程做个记录. 数据流 Docker产生的日期 发送到 FluentD,然后FluentD在转存到MongoDB. 配置Fluentd 前提:操作系统是CentOS7,已安装MongoDB3.4 1. 安装Fluentd CentOS 7的软件库并没有包含Fluentd的安装包,所以需要手动安装.在CentO

  • 深入讲解MongoDB的慢日志查询（profile）

    前言 说到MongoDB的慢日志分析,就不得不提到profile分析器,profile分析器将记录的慢日志写到system.profile集合下,这个集合是一个固定集合.我们可以通过对这个集合的查询,来了解当前的慢日志,进而对数据库进行优化. 整体环境 MongoDB 3.2.5 实战 Part1:输出示范 在查询system.profile的时候,我们能够观察到所有的操作,包括remove,update,find等等都会被记录到system.profile集合中,该集合中包含了诸多信息,如:

  • MongoDB数据库的日志文件深入分析

    前言 日志是MongoDB中一个非常重要的功能,他保证了数据库服务器在意外断电.自然灾害下数据的完整性 .MongoDB日志记录了数据库实例的健康状态.语句的执行状况.资源的消耗情况,所以日志对于分析数据库服务和性能优化很有帮助. 因此,很有必要花费一些时间来学习解析一下MongoDB的日志文件. 下面话不多说了,来一起看看详细的介绍吧. 日志信息的格式 <日志时间> <严重级别> <信息所属分类> [<内容>] <消息> 例如 : 2014-1

  • 教你自动恢复MySQL数据库的日志文件(binlog)

    如果MySQL服务器启用了二进制日志,你可以使用mysqlbinlog工具来恢复从指定的时间点开始 (例如,从你最后一次备份)直到现在或另一个指定的时间点的数据."mysqlbinlog:用于处理二进制日志文件的实用工具". 要想从二进制日志恢复数据,你需要知道当前二进制日志文件的路径和文件名.一般可以从选项文件(即my.cnf or my.ini,取决于你的系统)中找到路径.如果未包含在选项文件中,当服务器启动时,可以在命令行中以选项的形式给出.启用二进制日志的选项为 --log-b

  • 如何查看数据库alert日志文件

    1.查看操作系统版本 SQL> select * from v$version; BANNER ---------------------------------------------------------------- Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Prod PL/SQL Release 10.2.0.1.0 - Production CORE 10.2.0.1.0 Production TNS fo

  • 自动恢复MySQL数据库的日志文件思路分享及解决方案

    如果MySQL服务器启用了二进制日志,你可以使用mysqlbinlog工具来恢复从指定的时间点开始 (例如,从你最后一次备份)直到现在或另一个指定的时间点的数据."mysqlbinlog:用于处理二进制日志文件的实用工具". 要想从二进制日志恢复数据,你需要知道当前二进制日志文件的路径和文件名.一般可以从选项文件(即my.cnf or my.ini,取决于你的系统)中找到路径.如果未包含在选项文件中,当服务器启动时,可以在命令行中以选项的形式给出.启用二进制日志的选项为 --log-b

  • 数据库清除日志文件(LDF文件过大)

    清除日志: 复制代码 代码如下: DECLARE @LogicalFileName sysname, @MaxMinutes INT, @NewSize INT USE szwzcheck -- 要操作的数据库名 SELECT @LogicalFileName = 'szwzcheck_Log', -- 日志文件名 @MaxMinutes = 10, -- Limit on time allowed to wrap log. @NewSize = 20 -- 你想设定的日志文件的大小(M) --

  • mysql二进制日志文件恢复数据库

    mysql二进制日志文件恢复数据库

    二进制日志的文件的作用 mysql二进制日志文件用来记录所有用户对数据库操作,即记录用户对数据库操作的sql语句.如果有此文件,当数据库发生意外时,可以通过此文件查看到用户在此文件记录的时间段内用户所做的操作,再和数据库备份配合使用,即可再现用户操作,使数据库恢复. 二进制日志文件的弊端 二进制日志文件开启后,所有对数据库操作的记录均会被记录到此文件, 所以,当长时间开启之后,日志文件会变得很大,占用磁盘空间. 使用二进制日志文件恢复数据库 开启日志文件 mysql默认是不开启日志文件的功能的,

  • 老生常谈MongoDB数据库基础操作

    老生常谈MongoDB数据库基础操作

    为了保存网站的用户数据和业务数据,通常需要一个数据库.MongoDB和Node.js特别般配,因为Mongodb是基于文档的非关系型数据库,文档是按BSON(JSON的轻量化二进制格式)存储的,增删改查等管理数据库的命令和JavaScript语法很像.本文将详细介绍MongoDB数据库 数据库 数据库,顾名思义,是数据存储的仓库,主要功能有两个 1.有组织地存放数据 与在磁盘上自己存放文件不同,数据库替用户组织了数据的存储形式,用户只需要按照数据库提供的接口将数据写入,数据便会按照标准的格式被存

  • Windows平台安装MongoDB数据库

    Windows平台安装MongoDB数据库

    目录 一.MongoDB 安装 1.下载 2.安装 二. 运行MongoDB服务器 1.命令行下运行 MongoDB 服务器 2.手动安装 MongoDB服务 三.客户端Shell连接MongoDB MongoDB Shell的使用 四.安装MongoDB for VS Code 1.浏览您的MongoDB数据 2.MongoDB 操练场 3.快速访问MongoDB Shell 一.MongoDB 安装 1.下载 MongoDB 提供了可用于 32 位和 64 位系统的预编译二进制包,你可以从M

  • 清理SQL Server 2008日志文件Cannot shrink log file 2 的解决方案

    清理SQL Server 2008日志文件Cannot shrink log file 2 的解决方案

    SQL 2008日志文件占了23G硬盘空间,而事务日志已经截断(Truncate),实际日志内容很小,1G都不到,想要释放日志文件霸占的多余空间. 但是,无论怎么收缩(Shrink)日志文件,空间就是不能释放,总是出现错误: Cannot shrink log file 2 (CNBlogsText_log) because of minimum log space required. 之前解决过类似的问题,也写过一篇博客-SQL Server 2008事务日志清理,当时采用的最终解决方法是:

  • PHP实现的mongoDB数据库操作类完整实例

    本文实例讲述了PHP实现的mongoDB数据库操作类.分享给大家供大家参考,具体如下: 最近的项目开发中使用的数据库是mongodb数据库,因为小编的公司也是刚刚使用mongodb数据库,所以之前没有封装好的mongodb数据库操作类拿来使用,所以小编在项目中自己封装了一个mongodb数据库操作类,特拿出来分享,不尽人意的地方希望大家勿喷. 众所周知,mongodb是典型的nosql数据库的代表,受到很多开发者的追捧,近几年尤为火热,mongodb的流行不是没有原因的,下边给大家简单介绍下Mo

随机推荐