简介Redis中的showlog功能

Redis 有一个实用的slowlog功能，正如你可以猜到的，可以让你检查运行缓慢的查询. Slowlog 将会记录运行时间超过Y微秒的最后X条查询. X 和 Y 可以在 redis.conf 或者在运行时通过 CONFIG 命令:
 
 

代码如下:

CONFIG SET slowlog-log-slower-than 5000
CONFIG SET slowlog-max-len 25

进行设置。

slowlog-log-slower-than 是用来设置微秒数的, 因此上面的设置将记录执行时间超过5秒的查询. 要获取记录的日志，你可以使用 SLOWLOG GET X 命令, 这里 X 是你想要获取的记录条数:
 
 

代码如下:

SLOWLOG GET 10

它将会展示一个唯一的id，时间戳和发生的查询，查询执行所花掉的时间和实际被执行的命令+参数. 你可以通过SLOWLOG RESET擦出日志.

最后一次查看slowlog，我很不淡定的看到DEL命令的执行竟然花了超过20毫秒的时间. 还记得吗，Redis是单线程的，因此这样会阻塞（并且严重的有碍）我们系统的并发. 还有，因为这是一个写操作，它将会在向所有从属Redis服务复制的时候阻塞这一复制过程. 额，到底这是咋回事呢?

也许除了我之外所有人都知道这个问题了，但是这证明了Redis的DEL命令的时间复杂度对于字符串和哈希值而言是O(1)，而对于list、set和sorted set而言则是O(N) (这里的 N 是集合中数据项的数目). 你会删除一个包含数百万条数据的set吗? 那就等着阻塞吧.

我们的解决方案很简单: 不去删除这些数据项，而是将它们重命名，并且在后台作业中用小而可间断的块去执行对它们的删除操作. 首先，是我们的delayed_delete函数:

local key = KEYS[1]
local data_type = redis.call('type', key).ok

if data_type == 'set' or data_type == 'zset' then
 local temp = 'gc:tmp:' .. redis.call('incr', 'gc:ids') .. ':' .. key
 redis.call('rename', key, temp)
 return redis.call('sadd', 'gc:' .. data_type, temp)
end

return redis.call('del', key)

这将会将集合重命名，并且将新的名称添加到gc:set 或者 gc:zset set中 (我们没有使用 list, 但如果你使用了的话，你也应该向其加入这方面的支持).

下一步我们安排了一个Ruby脚本每分钟运行一次:

require 'redis'
r = Redis.new(driver: :hiredis)
r.srandmember('gc:set', 10000).each do |set|
 items = r.srandmember(set, 5000)
 if items.nil? || items.length == 0
  r.srem('gc:set', set)
  next
 end
 r.srem(set, items)
end

r.srandmember('gc:zset', 10000).each do |zset|
 if r.zremrangebyrank(zset, 0, 5000) < 5000
  r.srem('gc:zset', zset)
 end
end

你可以基于自己的需要将修改数字. 你的集合有多大，以及它们被删除有多频繁? 因为我们不去太过频繁的做这些类型的产出操作, 我们可以一次只进行一小块的删除操作.

不过这种方法比直接删除更加的慢, 但它在并发的环境下却可以表现得很好.

赞 (0)

相关推荐

  • 利用Redis实现SQL伸缩的方法简介

    缓解行竞争 我们在Sentry开发的早起采用的是sentry.buffers. 这是一个简单的系统,它允许我们以简单的Last Write Wins策略来实现非常有效的缓冲计数器. 重要的是,我们借助它完全消除了任何形式的耐久性 (这是Sentry工作的一个非常可接受的方式). 操作非常简单,每当一个更新进来我们就做如下几步: 创建一个绑定到传入实体的哈希键(hash key) 使用HINCRBY使计数器值增加 HSET所有的LWW数据(比如 "最后一次见到的") 用当前时间戳ZADD

  • 在Node.js应用中使用Redis的方法简介

    在开始本文之前请确保安装好 Redis 和 Node.js 以及 Node.js 的 Redis 扩展 -- node_redis 首先创建一个新文件夹并新建文本文件 app.js 文件内容如下: var redis = require("redis") , client = redis.createClient(); client.on("error", function (err) { console.log("Error " + err);

  • Redis的11种Web应用场景简介

    下面列出11种Web应用场景,在这些场景下可以充分的利用Redis的特性,大大提高效率. 1.在主页中显示最新的项目列表 Redis使用的是常驻内存的缓存,速度非常快.LPUSH用来插入一个内容ID,作为关键字存储在列表头部.LTRIM用来限制列表中的项目数最多为5000.如果用户需要的检索的数据量超越这个缓存容量,这时才需要把请求发送到数据库. 2.删除和过滤 如果一篇文章被删除,可以使用LREM从缓存中彻底清除掉. 3.排行榜及相关问题 排行榜(leader board)按照得分进行排序.Z

  • Redis教程(一)：Redis简介

    一.简介: 在过去的几年中,NoSQL数据库一度成为高并发.海量数据存储解决方案的代名词,与之相应的产品也呈现出雨后春笋般的生机.然而在众多产品中能够脱颖而出的却屈指可数,如Redis.MongoDB.BerkeleyDB和CouchDB等.由于每种产品所拥有的特征不同,因此它们的应用场景也存在着一定的差异,下面仅给出简单的说明: 1). BerkeleyDB是一种极为流行的开源嵌入式数据库,在更多情况下可用于存储引擎,比如BerkeleyDB在被Oracle收购之前曾作为MySQL的存储引擎,

  • NoSQL和Redis简介及Redis在Windows下的安装和使用教程

    NoSQL和Redis简介及Redis在Windows下的安装和使用教程

    NoSQL简介 介绍redis前,我想还是先认识下NoSQL,即not only sql, 是一种非关系型的数据存储,key/value键值对存储.现有Nosql DB 产品: Redis/MongoDB/Memcached/Hbase/Cassandra/ Tokyo Cabinet/Voldemort/Dynomite/Riak/ CouchDB/Hypertable/Flare/Tin/Lightcloud/ KiokuDB/Scalaris/Kai/ThruDB, 等等~~~ 为什么需要

  • 简介Lua脚本与Redis数据库的结合使用

    可能你已经听说过Redis 中嵌入了脚本语言,但是你还没有亲自去尝试吧?  这个入门教程会让你学会在你的Redis 服务器上使用强大的lua语言. Hello, Lua! 我们的第一个Redis Lua 脚本仅仅返回一个字符串,而不会去与redis 以任何有意义的方式交互. 复制代码 代码如下: local msg = "Hello, world!" return msg 这是非常简单的,第一行代码定义了一个本地变量msg存储我们的信息, 第二行代码表示 从redis 服务端返回msg

  • Redis简介

    Redis官方网网站是:http://www.redis.io/ . Redis是一个开源,高级的键值存储和一个适用的解决方案,用于构建高性能,可扩展的Web应用程序. Redis有三个主要特点,使它优越于其它键值数据存储系统 : a.Redis将其数据库完全保存在内存中,仅使用磁盘进行持久化. b.与其它键值数据存储相比,Redis有一组相对丰富的数据类型. c.Redis可以将数据复制到任意数量的从机中. Redis的优点 a.异常快:Redis非常快,每秒可执行大约110000次的设置(S

  • 简介Redis中的showlog功能

    Redis 有一个实用的slowlog功能,正如你可以猜到的,可以让你检查运行缓慢的查询. Slowlog 将会记录运行时间超过Y微秒的最后X条查询. X 和 Y 可以在 redis.conf 或者在运行时通过 CONFIG 命令:     复制代码 代码如下: CONFIG SET slowlog-log-slower-than 5000 CONFIG SET slowlog-max-len 25 进行设置. slowlog-log-slower-than 是用来设置微秒数的, 因此上面的设置

  • 基于redis实现世界杯排行榜功能项目实战

    题外话: 小编先给大家推荐一个不错的微信公众号: 感兴趣的朋友可以关注小编的微信公众号[码农那点事儿],更多网页制作特效源码及学习干货哦!!! 需求 前段时间,做了一个世界杯竞猜积分排行榜.对世界杯64场球赛胜负平进行猜测,猜对+1分,错误+0分,一人一场只能猜一次. 1.展示前一百名列表. 2.展示个人排名(如:张三,您当前的排名106579). 分析 一开始打算直接使用mysql数据库来做,遇到一个问题,每个人的分数都会变化,如何能够获取到个人的排名呢?数据库可以通过分数进行row_num排

  • Redis中Redisson红锁(Redlock)使用原理

    目录 简介 为什么使用Redis的红锁 解决方案:使用红锁 Redisson红锁实例 Redisson红锁原理 参考文章 简介 说明 本文介绍为什么要使用Redis的红锁(Redlock).什么是Redis的红锁以及Redis红锁的原理. 本文用Redisson来介绍Redis红锁的用法. Redisson 高版本会根据redisClient的模式来决定getLock返回的锁类型,如果集群模式,满足红锁的条件,则会直接返回红锁. 官网 REDIS distlock -- Redis中国用户组(C

  • Redis中Lua脚本的使用和设置超时

    目录 EVAL命令简介 eval格式 特性 执行流程 关于脚本超时 SCRIPT KILL 命令 SHUTDOWN NOSAVE 命令 参考 Redis提供了Lua脚本功能来让用户实现自己的原子命令,但也存在着风险,编写不当的脚本可能阻塞线程导致整个Redis服务不可用. 本文将介绍Redis中Lua脚本的基本用法,以及脚本超时导致的问题和处理方式. EVAL命令简介 eval格式 Redis 提供了命令EVAL来执行Lua脚本,格式如下 EVAL script numkeys key [key

  • 对比DB2 9和DB2 V8.x中的XML功能

    正在看的db2教程是:对比DB2 9和DB2 V8.x中的XML功能. 简介 DB2 UDB Version 8.x 中的 XML 支持基于 DB2 的关系基础设施.XML 数据要么按原样存储为字符大对象(CLOB),要么分解到关系表中.另一方面,DB2 UDB Viper 具有真正的 XML 数据本机支持.现在,将 XML 数据作为一种新的数据类型处理,存储在一个经过解析并加上注释的树中,这个树是与关系数据存储分开的.还引入了基于 XML 模式的 XML 索引技术,并支持 XQuery 和 S

  • Redis中5种数据结构的使用场景介绍

    一.redis 数据结构使用场景 原来看过 redisbook 这本书,对 redis 的基本功能都已经熟悉了,从上周开始看 redis 的源码.目前目标是吃透 redis 的数据结构.我们都知道,在 redis 中一共有5种数据结构,那每种数据结构的使用场景都是什么呢? String--字符串 Hash--字典 List--列表 Set--集合 Sorted Set--有序集合 下面我们就来简单说明一下它们各自的使用场景: 1. String--字符串 String 数据结构是简单的 key-

  • redis中使用java脚本实现分布式锁

    redis中使用java脚本实现分布式锁

    redis被大量用在分布式的环境中,自然而然分布式环境下的锁如何解决,立马成为一个问题.例如我们当前的手游项目,服务器端是按业务模块划分服务器的,有应用服,战斗服等,但是这两个vm都有可能同时改变玩家的属性,这如果在同一个vm下面,就很容易加锁,但如果在分布式环境下就没那么容易了,当然利用redis现有的功能也有解决办法,比如redis的脚本. redis在2.6以后的版本中增加了Lua脚本的功能,可以通过eval命令,直接在RedisServer环境中执行Lua脚本,并且可以在Lua脚本中调用

  • .NET客户端实现Redis中的管道（PipeLine）与事物（Transactions）

    .NET客户端实现Redis中的管道（PipeLine）与事物（Transactions）

    序言 Redis中的管道(PipeLine)特性:简述一下就是,Redis如何从客户端一次发送多个命令,服务端到客户端如何一次性响应多个命令. Redis使用的是客户端-服务器模型和请求/响应协议的TCP服务器,这就意味着一个请求要有以下步骤才能完成:1.客户端向服务器发送查询命令,然后通常以阻塞的方式等待服务器相应.2.服务器处理查询命令,并将相应发送回客户端.这样便会通过网络连接,如果是本地回环接口那么就能特别迅速的响应,但是如果走外网,甚至外网再做一系列的层层转发,那就显的格外蛋疼.无论网

  • Redis中的动态字符串学习教程

    Redis中的动态字符串学习教程

    sds 的用途 Sds 在 Redis 中的主要作用有以下两个: 实现字符串对象(StringObject): 在 Redis 程序内部用作 char* 类型的替代品: 以下两个小节分别对这两种用途进行介绍. 实现字符串对象 Redis 是一个键值对数据库(key-value DB), 数据库的值可以是字符串.集合.列表等多种类型的对象, 而数据库的键则总是字符串对象. 对于那些包含字符串值的字符串对象来说, 每个字符串对象都包含一个 sds 值. "包含字符串值的字符串对象",这种说

  • MSXML4.0 版中的新增功能

    MSXML4.0 版中的新增功能 2001 年 9 月发行的 Microsoft XML Core Services (MSXML) 4.0 版中的新增功能  Microsoft Corporation  2001年10月 下载 MSXML 4.0,网址为 MSDN Downloads(英文). 摘要: 本文重点介绍了与版本 3.0 相比,2001 年 9 月发行的 Microsoft XML Core Services (MSXML) 4.0 版中的新功能和重要变更. 目录 简介  新功能 

随机推荐