php性能优化之不要在for循环中操作DB

目录
  • 前言
  • 场景说明
  • 举例说明
  • 进一步优化
  • 性能对比

前言

如何提高程序运行速度,减轻服务器压力是服务端开发必须面对的一个问题。

简单且朴素的原则:不要在for循环中操作DB,包括关系型数据库和NoSql。

我们应该根据自己的业务场景,在for循环之前批量拿到数据,用尽量少的sql查询批量查到结果。 在for循环中进行数据的匹配组装。

场景说明

  • 业务在多个情景下需要获得用户的详细信息,有点可以通过查询用户表直接获取到,有的需要查询关联关系表获取到,有的只保存了关联的id,并没有单独创建关联关系表,需要单独写获取函数取值。
  • 既然多个场景下需要调用,那么封装成一个公共方法,让多个场景统一调用公共方法是基本的优化思路。
  • 上面提到了复杂的存取值关系,我们需要分析一下,哪些操作是耗时的,耗时的操作如何优化,能否减少sql查询的次数。

举例说明

  • 下面的代码示例,我们封装了 CommonRender 的类,所有可以统一输出的方法都在这里
  • 下面代码标注了优化之前优化之后
  • 优化之前:在每次查询都需要根据保存的id,去数据库查询;如果列表页每次返回30条数据,那这部分就需要30次sql查询。
  • 优化之后:采用的是提前批量取值,又写了一个函数 _renderHobby ,只需要1次sql。
  • 这样就极大的减少了sql查询,提高了程序响应的速度。
<?php
namespace App\Render;
.
.
.
class CommonRender extends BaseRender
{
    public static function renderUserinfo($data, $hobbyInfo = [])
    {
        if (!is_array($data)) {
            return [];
        }
        $ret = [
            'uid' => !isset($data['id']) ? 0 : $data['id'],
            'userid' => !isset($data['userid']) ? '' : $data['userid'],
            'username' => !isset($data['username']) ? '' : $data['username'],
            'usericon' => !isset($data['usericon']) ? [] : $data['usericon'],
            .
            .
            .
//优化之前
//          'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']),
//优化之后
            'hobby' => !isset($data['hobby']) ? [] : self::_renderHobby($data['hobby'], $hobbyInfo),
            .
            .
            .
        if (!empty($ret['birth'])) {
            $ret['zodiacSign'] = Utility::getZodiacSign($ret['birth']);
        } else {
            $ret['zodiacSign'] = '';
        }
        return $ret;
    }
    protected static function _renderHobby($userHobby, $hobbyInfo)
    {
        $ret = [];
        if ($userHobby) {
            $userHobbyIds = explode(',', $userHobby);
            foreach ($userHobbyIds as $key => $userHobbyId) {
                $ret[$key] = $hobbyInfo[$userHobbyId];
            }
        }
        return $ret;
    }
    //用户列表卡片常用字段
    public static function renderListCardUserinfo($data)
    {
        .
        .
        .
    }
}

进一步优化

上面的代码已经优化了性能,但是还不够优雅。

获取单用户信息场景比较多,比如编辑,登录,查看单人信息等,这种情况下我还每次都提前批量查询吗?这样的话需要改造的地方太多了。

下面做进一步优化:

在render方法内部封装了一层,如果外部没有传入或传入空数组,自己再查询db获得一次需要的数据源。

<?php
namespace App\Render;
.
.
.
class CommonRender extends BaseRender
{
    public static function renderUserinfo($data, $hobbyInfo = [])
    {
        //区别在这里:批量查询外部传入,减少sql查询次数; 单次查询在render内查一次
        $hobbyInfo = !empty($hobbyInfo) ? $hobbyInfo : HobbyInfo::getAllInfo();
        if (!is_array($data)) {
            return [];
        }
        $ret = [
            'uid' => !isset($data['id']) ? 0 : $data['id'],
            'userid' => !isset($data['userid']) ? '' : $data['userid'],
            'username' => !isset($data['username']) ? '' : $data['username'],
            'usericon' => !isset($data['usericon']) ? [] : $data['usericon'],
            .
            .
            .
//优化之前
//          'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']),
//优化之后
            'hobby' => !isset($data['hobby']) ? [] : self::_renderHobby($data['hobby'], $hobbyInfo),
            .
            .
            .
        if (!empty($ret['birth'])) {
            $ret['zodiacSign'] = Utility::getZodiacSign($ret['birth']);
        } else {
            $ret['zodiacSign'] = '';
        }
        return $ret;
    }
    protected static function _renderHobby($userHobby, $hobbyInfo)
    {
        $ret = [];
        if ($userHobby) {
            $userHobbyIds = explode(',', $userHobby);
            foreach ($userHobbyIds as $key => $userHobbyId) {
                $ret[$key] = $hobbyInfo[$userHobbyId];
            }
        }
        return $ret;
    }
    //用户列表卡片常用字段
    public static function renderListCardUserinfo($data)
    {
        .
        .
        .
    }
}

这样,那些获得单个用户资料的方法就不需要修改了。

    //编辑用户资料
    public function editUserInfo(Request $request)
    {
        $userInfo = UserInfo::editUserById($this->_userid, $request);
        return [
            'user' =>
                CommonRender::renderUserinfo($userInfo)
                + UserInfo::formatCoverAndPickedFootprint($userInfo)
        ];
    }

性能对比

批量获得用户信息对比:性能提升立竿见影。

  • 比如每次取30个用户数据,之前获得爱好,职业,期望部分要查询30次db。
  • 优化之后只需要查询3次db。
    public static function getBatchUserIntro($userid, $userList)
    {
        $retData = [];
        if (empty($userList)) {
            return $retData;
        }
        .
        .
        .
        //批量获得爱好、职业、期望遇到 在foreach中计算取值,不重复请求DB取值
        $hobbyInfo = HobbyInfo::getAllInfo();
        $professionInfo = ProfessionInfo::getAllInfo();
        $expectInfo = ExpectInfo::getAllInfo();
        foreach ($batchUserInfo as $item) {
            $retData[$item['userid']] = array_merge(
                    ['wxnumber' => Utility::maskWxnumber($item['wxnumber'], $batchExchangeStatus[$item['userid']] == UserUserWeixinExchange::TYPE_TRUE)]
                    + CommonRender::renderUserinfo($item, $hobbyInfo, $professionInfo, $expectInfo);
        }
        .
        .
        .
        return $retData;
    }

注意,为了行文紧凑,代码段中省略了和文章无关的代码,用竖着的三个.省略。

以上就是php性能优化之不要在for循环中操作DB的详细内容,更多关于php性能优化for循环DB操作的资料请关注我们其它相关文章!

(0)

相关推荐

  • PHP-FPM实现性能优化

    简介: PHP-FPM 是一个 PHP FastCGI 管理器,一般 Nginx 上面跑 PHP 程序都会将 PHP 程序丢给 PHP-FPM 来解析.好了,就这样! PHP 5.4 开始集成了 PHP-FPM ,也就是说编译 PHP 时,只要 --enable-fpm 就装好了 PHP-FPM . 一.安装 PHP-FPM shell > ./configure --prefix=/usr/local/php \ --with-config-file-path=/usr/local/php -

  • PHP性能优化大全(php.ini)

    第一章  针对系统调用过多的优化 我这次的优化针对syscall调用过多的问题,所以使用strace跟踪apache进行分析. 1.  apache2ctl -X & 使用-X(debug)参数启动httpd进程,这个时候只启动1个httpd进程 2. ps -ef | grep httpd 找到需要strace的pid 3. strace -p $PID -o /tmp/strace.log 发送一个http请求到httpd,就能看到strace信息了.   一.include_path问题

  • php之性能优化案例

    php是一个很流行的脚本语言,现在很多公司(新浪.优酷.百度.搜狐.淘宝等等)在使用这种语言进行网站开发.我的这篇文章,我只是希望能够提高你的php脚本性能.请记住你的php脚本性能,很多时候依赖于你的php版本.你的web server环境和你的代码的复杂度. 优化你代码中的瓶颈 Hoare曾经说过"过早优化是一切不幸的根源".当你想要让你的网站更快运转的时候,你才应该去做优化的事情.当你要改变你代码之前,你需要做的事是什么原因引起了系统缓慢?你可以通过以下指导和其他方式优化你的ph

  • PHP开发注意事项总结

    1.使用内嵌的HTML代码,而不是PHP的echo语句. 因为PHP是一门嵌入式Web编程语言,可以将HTML代码和PHP代码相互嵌入.但是很多程序员担心在HTML代码中过多的使用""嵌入PHP代码会多次调用PHP解释器,从而降低了PHP代码的运行速度,所以宁愿使用PHP的echo语句来输出HTML代码,而不直接使用HTML代码.但事实却恰恰相反.每一个PHP页面只调用一次PHP解释器来解释所有的PHP代码,所以,只在需要时才嵌入PHP代码,而大多数的时候直接使用HTML代码输入结果,

  • PHP+swoole+linux实现系统监控和性能优化操作示例

    本文实例讲述了PHP+swoole+linux实现系统监控和性能优化操作.分享给大家供大家参考,具体如下: 服务器监控 端口监控php运行shell脚本 class Server { const PORT = 8811; /** * 获取端口指定端口信息;如果在运行返回1:否则返回0: */ public function port() { $shell = "netstat -anp 2>/dev/null | grep ". self::PORT . " | gre

  • PHP中你可能忽略的性能优化利器:生成器

    前言 如果是做Python或者其他语言的小伙伴,对于生成器应该不陌生.但很多PHP开发者或许都不知道生成器这个功能,可能是因为生成器是PHP 5.5.0才引入的功能,也可以是生成器作用不是很明显.但是,生成器功能的确非常有用. 什么情况之下,会遇到PHP性能问题? 1:PHP语法使用不恰当. 2:使用PHP语言做了它不擅长的事情. 3:使用PHP语言连接的服务不给力. 4:PHP自身的短板(PHP自身做不了的事情). 5:我们也不知道的问题?(去探索.分析找到解决办法,提升开发境界). 优点 直

  • php性能优化之不要在for循环中操作DB

    目录 前言 场景说明 举例说明 进一步优化 性能对比 前言 如何提高程序运行速度,减轻服务器压力是服务端开发必须面对的一个问题. 简单且朴素的原则:不要在for循环中操作DB,包括关系型数据库和NoSql. 我们应该根据自己的业务场景,在for循环之前批量拿到数据,用尽量少的sql查询批量查到结果. 在for循环中进行数据的匹配组装. 场景说明 业务在多个情景下需要获得用户的详细信息,有点可以通过查询用户表直接获取到,有的需要查询关联关系表获取到,有的只保存了关联的id,并没有单独创建关联关系表

  • php性能优化进阶不要在for循环中DB操作

    目录 前言 场景说明 解题思路 代码示例: 性能对比 反思总结 前言 如何提高程序运行速度,减轻服务器压力是服务端开发必须面对的一个问题. 简单且朴素的原则:不要在for循环中操作DB,包括关系型数据库和NoSql. 我们应该根据自己的业务场景,在for循环之前批量拿到数据,用尽量少的sql查询批量查到结果. 在for循环中进行数据的匹配组装. 上一篇文章 性能优化反思:不要在for循环中操作DB ,被推荐到首页也收到了大家的互动评论,再接再厉,进阶一版. 说明:继续上一篇文档的demo整理,不

  • Android编程开发之性能优化技巧总结

    本文详细总结了Android编程开发之性能优化技巧.分享给大家供大家参考,具体如下: 1.http用gzip压缩,设置连接超时时间和响应超时时间 http请求按照业务需求,分为是否可以缓存和不可缓存,那么在无网络的环境中,仍然通过缓存的httpresponse浏览部分数据,实现离线阅读. 2.listview 性能优化 1).复用convertView 在getItemView中,判断convertView是否为空,如果不为空,可复用.如果couvertview中的view需要添加listern

  • SQLite 性能优化实例分享

    最早接触 iOS 开发了解到的第一个缓存数据库就是 SQLite,后面一直也以 SQLite 作为中坚力量使用,以前没有接触到比较大量数据的读写,所以在性能优化方面关注不多,这次对一个特定场景的较多数据批量读写做了一个性能优化,使性能提高了十倍. 大致应用场景是这样: 每次程序启动会从服务器拉取一些数据,对本地数据库两个表进行同步更新,不存在就写入,存在就更新其字段.数据少的时候几十条,多的上千条. 由于缓存的数据可能会存在异步同时读写,所以做了一个后台同步队列,所有的缓存数据库操作都在这个队列

  • 浅谈DOM的操作以及性能优化问题-重绘重排

    写在前面: 大家都知道DOM的操作很昂贵. 然后贵在什么地方呢? 一.访问DOM元素 二.修改DOM引起的重绘重排 一.访问DOM 像书上的比喻:把DOM和JavaScript(这里指ECMScript)各自想象为一个岛屿,它们之间用收费桥梁连接,ECMAScript每次访问DOM,都要途径这座桥,并交纳"过桥费",访问DOM的次数越多,费用也就越高.因此,推荐的做法是尽量减少过桥的次数,努力待在ECMAScript岛上.我们不可能不用DOM的接口,那么,怎样才能提高程序的效率? 既然

  • asp.net小谈网站性能优化

    当然,网站性能优化是多方面的,这里先谈一下这些天来的所获: 1.书写代码的习惯: 再复杂的逻辑,也是从最简单的开始.在书写代码的过程中,很多不好的规范都会影响网站的性能: 以下是整理出来的些许代码习惯: 1)字符串的比较 用 string.Empty 代替 " " 2)在遍历过程中,先定义好计数变量, 再遍历, 这样会减少每次遍历就分配一次内存空间: 复制代码 代码如下: int i; for( i=0; i<100;i++) { // codeing } 3)同样的,用 Str

  • ASP.NET性能优化小结(ASP.NET&C#)

    ASP.NET: 一.返回多个数据集 检查你的访问数据库的代码,看是否存在着要返回多次的请求.每次往返降低了你的应用程序的每秒能够响应请求的次数.通过在单个数据库请求中返回多个结果集,可以减少与数据库通信的时间,使你的系统具有扩展性,也可以减少数据库服务器响应请求的工作量. 如果用动态的SQL语句来返回多个数据集,那用存储过程来替代动态的SQL语句会更好些.是否把业务逻辑写到存储过程中,这个有点争议.但是我认为,把业务逻辑写到存储过程里面可以限制返回结果集的大小,减小网络数据的流量,在逻辑层也不

  • Python 性能优化技巧总结

    1.使用测量工具,量化性能才能改进性能,常用的timeit和memory_profiler,此外还有profile.cProfile.hotshot等,memory_profiler用了psutil,所以不能跟踪cpython的扩展: 2.用C来解决费时的处理,c是效率的代名词,也是python用来解决效率问题的主要途径,甚至有时候我都觉得python是c的完美搭档.常用的是Cython,直接把py代码c化然后又能像使用py包一样使用,其次是ctypes,效率最最高的存在,最后还有CPython

  • Web性能优化系列 10个提升JavaScript性能的技巧

    Nicholas Zakas是一位 JS 大师,Yahoo! 首页的前端主程.他是<高性能 Javascript>的作者,这本书值得每个程序员去阅读. 当谈到 JS 性能的时候,Zakas差不多就是你要找的,2010年六月他在Google Tech Talk发表了名为<Speed Up Your Javascript>的演讲. 但 Javascript 性能优化绝不是一种书面的技术,Nicholas 的技术演进列出了10条建议,帮助你写出高效的 JS 代码. 1. 定义局部变量 当

  • JS性能优化笔记搜索整理

    通过网上查找资料了解关于性能优化方面的内容,现简单整理,仅供大家在优化的过程中参考使用,如有什么问题请及时提出,再做出相应的补充修改. 一. 让代码简洁:一些简略的表达方式也会产生很好的优化 eg:x=x+1;在不影响功能的情况下可以简写为x++; 二. 变量名方法名尽量在不影响语意的情况下简单.(可以选择首字母命名) eg:定义数组的长度可以取名为:ArrLen而不需要取为ArrayLength. 三. 关于JS的循环,循环是一种常用的流程控制. JS提供了三种循环:for(;;).while

随机推荐