MySQL性能优化 出题业务SQL优化

先简单介绍一下项目背景。这是一个在线考试练习平台，数据库使用MySQL，表结构如图所示：

Question是存储题目的表，数据量在3万左右。AnswerResult表是存储用户作答结果的表，分表之后单表记录大概在300万-400万。

需求：根据用户的作答结果出练习卷，题目的优先级为：未做过的题目>只做错的题目>做错又做对的题目>只做对的题目。

在“做错又做对的题目”中，会按错误次数和正确次数的比例进行权重计算，比如：A、做错10次，做对100次；B、做错10次，做对20次。这时B被选中出给用户练习的概率就大。

备注：AnswerResult表中不存在QuestionId的记录，则代表该题没有做过。

之前使用的方法：

　　SELECT Question.题目标识,IFNULL((0-正确次数)/(正确次数+错误次数),1) AS 权重 FROM Question

　　LEFT JOIN AnswerResult ON AnswerResult.题目标识 = Question.题目标识

　　WHERE 用户标识={UserId}

说明：IFNULL((0-正确次数)/(正确次数+错误次数),1)这个函数式分2部分，

公式：(0-正确次数)/(正确次数+错误次数)得到题目的权重，这个区间为[0,-1]，0表示只做错的题目，-1表示只做对的题目。IFNULL(value,1)则将未做过的题目权重设置为1，根据这个权重进行排序列出题目。

由于AnswerResult表是多达300、400百万的表，所以通过LEFT JOIN进行左连接时，迪卡尔乘积过大，又加上AnswerResult是频繁读写的表，很容易导致这条SQL变成慢查询。

性能问题被提上日程后，这条SQL语句就变成的优化点。

1、IFNULL()这个函数计算可以调整成冗余字段。

2、LEFT JOIN的迪卡尔乘积太大，可以调整为冗余或者使用INNER JOIN以提高查询速度。

3、根据需求，其实可以调整出题策略，不同的情况执行不同的SQL，而不需要在同一条SQL中实现。

解决方案针对以上三个点进行调整。虽然Question表有3万条数据，但是出题的场景其实是针对知识点出题，单个知识点题目最多也只有1000题左右，所以获取未做过的题目时，完全可以使用NOT IN走索引来完成。SQL语句如：

　　A:SELECT 题目标识 FROM Question WHERE 知识点={KnowledgePointCode} AND 题目标识 NOT IN (

　　　　SELECT 题目标识 FROM AnswerResult INNER JOIN Question AND Question.知识点={KnowledgePointCode}

　　　　WHERE AnswerResult.用户标识 = {UserId}

　　)

针对只做错的题目出题练习就简单了（正确次数 = 0代表只做错），SQL如：

　　B:SELECT 题目标识 FROM AnswerResult INNER JOIN Question AND Question.知识点={KnowledgePointCode}

　　WHERE AnswerResult.用户标识 = {UserId} AND 正确次数 = 0 ORDER BY 错误次数 DESC

若要对做错、做对或者只做对的题目进行出题，SQL就是这样的（已经对权重进行冗余=IFNULL((0-正确次数)/(正确次数+错误次数),1)）：

　　C:SELECT 题目标识 FROM AnswerResult INNER JOIN Question AND Question.知识点={KnowledgePointCode}

　　WHERE AnswerResult.用户标识 = {UserId} AND 正确次数 > 0 ORDER BY 权重 DESC

不足：SQL语句A的查询速度依然是较慢的，虽然有缩小NOT IN的结果集，但这里还是有优化点。园子里的朋友们能不能给点建议？

有人说JOIN是SQL的性能杀手，我觉得主要还是怎么去使用JOIN，MySQL的索引优化相当重要，如果JOIN成为性能瓶颈，可以EXPLAIN看看是不是索引没有建好，并且尽量让迪卡尔乘积尽量小。使用冗余数据避免JOIN，当可能变化的冗余数据被分表之后，更新这些冗余数据就是一件非常头痛的事了。海量数据高并发，确实是一件挺头痛的事。

望园子里有这方面经验的朋友不吝赐教。谢谢。

赞 (0)

相关推荐

  • mysql优化取随机数据慢的方法

    前天因为工作需要我把从一个5W记录的数据库中随机抽取几条记录了,这里我是直接使用mysql rand by函数来直接,几千条记录没关系,但如果到了几万条感觉要几秒,这个就很慢了,下面小编与大家一起来看看mysql 取随机数据慢优化过程.MySQL很多时候需要获取随机数据,举个例子,要从tablename表中随机提取一条记录,大家一般的写法就是: 复制代码 代码如下: SELECT * FROM tablename ORDER BY RAND() LIMIT 1 但是,后来我查了一下MYSQL的官

  • 跟着hsp一步步学mysql优化的方法

    在第二集中 1.show status like 'Com%' 等价于show status session like 'Com%'百年--显示当前控制台情况 show global status like 'Com%'--显示数据库从启动到查询次数 show session status like 'Com_select'; show status like 'uptime' -- 已启动多久show status like 'Connections' --连接的次数 slow_queries

  • 101个MySQL优化技巧和提示

    101个MySQL优化技巧和提示

    MySQL是一个功能强大的开源数据库.随着越来越多的数据库驱动的应用程序,人们一直在推动MySQL发展到它的极限.这里是101条调节和优化MySQL安装的技巧.一些技巧是针对特定的安装环境的,但这些思路是通用的.我已经把他们分成几类,来帮助你掌握更多MySQL的调节和优化技巧. MySQL 服务器硬件和操作系统调节: 1. 拥有足够的物理内存来把整个InnoDB文件加载到内存中--在内存中访问文件时的速度要比在硬盘中访问时快的多. 2. 不惜一切代价避免使用Swap交换分区 – 交换时是从硬盘读

  • LAMP服务器性能优化技巧之Mysql优化

    Apache服务器优化.PHP优化.Mysql优化 对于程序开发人员而言,目前使用最流行的两种后台数据库即为MySQL and SQL Server.这两者最基本的相似之处在于数据存储和属于查询系统.如果你想建立一个.NET服务器体系,这一体系可以从多个不同平台访问数据,参与数据库的管理,那么你可以选用SQL Server服务器.如果你想建立一个第三方动态网站,从这一站点可以从一些客户端读取数据,那么MySQL将是一个不错的选择. 1.编译和安装MySQL 通过你的系统挑选可能最好的编译器,你通

  • MySQL优化配置文件my.ini(discuz论坛)

    在Apache, PHP, MySQL的体系架构中,MySQL对于性能的影响最大,也是关键的核心部分.对于Discuz!论坛程序也是如此,MySQL的设置是否合理优化,直接影响到论坛的速度和承载量!同时,MySQL也是优化难度最大的一个部分,不但需要理解一些MySQL专业知识,同时还需要长时间的观察统计并且根据经验进行判断,然后设置合理的参数. 下面我们了解一下MySQL优化的一些基础,MySQL的优化我分为两个部分,一是服务器物理硬件的优化,二是MySQL自身(my.cnf)的优化. 一.服务

  • mysql数据库sql优化原则(经验总结)

    一.前提 这里的原则只是针对MySQL数据库,其他的数据库某些是殊途同归,某些还是存在差异.我总结的也是MySQL普遍的规则,对于某些特殊情况得特殊对待.在构造SQL语句的时候要养成良好的习惯. 二.原则总结 原则1.仅列出需要查询的字段,这对速度不会明显的影响,主要是考虑节省应用程序服务器的内存. 原来语句: select * from admin 优化为: select admin_id,admin_name,admin_password from admin 原则2.尽量避免在列上做运算,

  • MySQL优化全攻略-相关数据库命令

    接下来我们要讨论的是数据库性能优化的另一方面,即运用数据库服务器内建的工具辅助性能分析和优化.    ▲ SHOW    执行下面这个命令可以了解服务器的运行状态:   mysql >show status;   该命令将显示出一长列状态变量及其对应的值,其中包括:被中止访问的用户数量,被中止的连接数量,尝试连接的次数,并发连接数量最大值,以及其他许多有用的信息.这些信息对于确定系统问题和效率低下的原因是十分有用的.    SHOW命令除了能够显示出MySQL服务器整体状态信息之外,它还能够显示

  • 有关mysql优化的一些东东整理

    1.查询帮助 ? contents2.使用合成的散列值,分离BLOB或者TEXT3.货币使用定点数(decimal或者numberic)4.sql_mode?5.order by rand() limit 1000;6.优化show status like 'Com' Com_select Com_insert等查看插入多还是查询多7.Handler_read_key 的值将很高,这个值代表了一个行被索引值读的次数,很低的值表明增加索引得到的性能改善不高,因为索引并不经常使用.Handler_r

  • MySQL优化必须调整的10项配置

    当我们被人雇来监测MySQL性能时,人们希望我们能够检视一下MySQL配置然后给出一些提高建议.许多人在事后都非常惊讶,因为我们建议他们仅仅改动几个设置,即使是这里有好几百个配置项.这篇文章的目的在于给你一份非常重要的配置项清单. 我们曾在几年前在博客里给出了这样的建议,但是MySQL的世界变化实在太快了!写在开始前-即使是经验老道的人也会犯错,会引起很多麻烦.所以在盲目的运用这些推荐之前,请记住下面的内容: 一次只改变一个设置!这是测试改变是否有益的唯一方法. 大多数配置能在运行时使用SET

  • 非常不错的MySQL优化的8条经验

    1.选取最适用的字段属性   MySQL 可以很好的支持大数据量的存取,但是一般说来,数据库中的表越小,在它上面执行的查询也就会越快.因此,在创建表的时候,为了获得更好的性能,我们可以将表中字段的宽度设得尽可能小.例如,在定义邮政编码这个字段时,如果将其设置为CHAR(255),显然给数据库增加了不必要的空间,甚至使用 VARCHAR这种类型也是多余的,因为CHAR(6) 就可以很好的完成任务了.同样的,如果可以的话,我们应该使用MEDIUMINT而不是BIGINT来定义整型字段. 另外一个提高

  • mysql优化配置参数

    第一种 复制代码 代码如下: #This File was made using the WinMySQLAdmin 1.4 Tool #2004-2-23 16:28:14 #Uncomment or Add only the keys that you know how works. #Read the MySQL Manual for instructions [mysqld] basedir=D:/mysql #bind-address=210.5.*.* datadir=D:/mysq

随机推荐