shell脚本作为保证PHP脚本不挂掉的守护进程实例分享

前几天开始跑一份数据名单，名单需要提供用户名、是否有手机号、是否有邮箱，用户名单我轻易的获取到了，但是，用户名单有2000w之多，并且去检测用户是否有手机号、是否有邮箱必须得通过一个对外开放的安全接口一个一个用户去请求，然后分析返回值才能知道。

下面是我处理的方案：
1、将2000w名单保存到临时数据表
2、用PHP程序每次从该表获取500个用户，检测完后生成SQL update原纪录
3、为了防止PHP程序突然断掉，用shell脚本每隔1分钟检测，PHP挂掉了则重启
我使用shell脚本作为守护进程的原因是，手机与邮箱的检测接口速度慢，不可能在1~2天将2000w用户检测完。

方案详细：
1、临时保存用户名单表users，表结构如下：


代码如下:

CREATE TABLE `users` (
  `account` varchar(50) COMMENT '用户名',
  `has_phone` tinyint(3) unsigned NOT NULL default '0' COMMENT '是否有手机号',
  `has_email` tinyint(3) unsigned NOT NULL default '0' COMMENT '是否有邮箱',
  `flag` tinyint(3) unsigned  NOT NULL default '0' COMMENT '标志位',
  PRIMARY KEY  (`account`),
  KEY `flag` (`flag`)
 ) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COMMENT='名单表';

我先将2000多w用户名导入到这个临时表，has_phone与has_email这二个字段默认都是0（没有），标志位flag说明该用户是否已经检测完。
下面是一部分表数据：
9873aaa,0,0,0
adddwwwd876222,0,0,0
testalexlee,0,0,0
codejia.net,0,0,0
haohdouywaa21,0,0,0
 
2、PHP脚本check_users.php
将 用户名单导入到表之后，再写一个简单的PHP脚本，思路是这样的：每次循环从表取flag=0的500个用户，然后请求接口判断用户是否有手机号、邮箱， 生成一条SQL，保存到一个SQLS数组里，等500个用户全部检测完了之后，循环SQLS数组，更新表里这500个名单，并将flag标志位设置为1， 表示已经检测完，下次就不获取了。
由于PHP脚本代码较长，这里分享下简单的代码说明：


代码如下:

<?php
class Users{
    private $data;
    private $sqls;
    private $nums;         //判断是否有500用户
    private $total_nums;   //当前已经检测完的用户数量

//每次取500个用户
    private function getUsers(){...}

//检测这500个用户并生成SQL
    private function checkUserInfo(){...}

//更新这500个用户
    private function updateUserInfo(){...}

//运行
    public function run(){
        $flag = true;
        while($flag){
             if($this->nums != 500){ $flag = false; }
             if($this->total_nums == 10000){ 
                exit(0); //跑完1w个用户就退出，由守护进程启动
             }
             $this->getUsers();
             $this->checkUserInfo();
             $this->updateUserInfo();
             sleep(1); //跑完500用户休息1秒，保护用户检测接口     
         }
    }
}

$user = new Users();
$user->run();
?>

上面是简洁版的PHP脚本，大概意思到了，刚开始的版本是没有$total_nums这个变量，是因为刚开始跑这个脚本的时候，发现只跑完了4w多条脚本就挂球了，后来一看，是因为连接数据库没连上，脚本一直挂在那里。加上这个变量也无法解决这个问题，只是在每次跑完1w个用户之后，PHP脚本退出，再由下面的shell脚本重新启动。

3、shell脚本作为守护进程
我把这个shell脚本加到了crontab里边，每隔1分钟执行一次，这个shell脚本很简单，检测check_users.php是否存在进程id，如果存在，则说明PHP脚本还在运行，shell脚本不做任何操作；如果不存在，则说明PHP脚本已经exit(0)跑完了1w用户退出了，那么shell脚本启动该脚本，进入下一个1w用户名单的检测。
上面我有讲到，如果PHP脚本在连接数据库的时候，无法连接上的时候，PHP会一直挂球在那里，无法退出了。我在shell脚本里加了一个时间检测，当PHP脚本进程存在的时候，计算已经存在了多长时间，如果超过了我预想的时间，则将PHP脚本kill掉，再重启。

开头的举例数据，结果类似如下：
testalexlee,1,0,1
codejia.net,0,0,1
haohdouywaa21,1,1,1
9873aaa,0,1,1
adddwwwd876222,1,0,1

说在最后：以上用户名单数据只是举个栗子，不要太认真，2000w数据，我估计要跑一段时间了，因为检测接口比较慢，接口在接到请求后还要连表，查表，再返回。其实，最好的方法还是直接从接口请求的表拉一份名单出来，再用shell命令处理下很快就有结果了，可是在公司就是这样，有些东西不开放的，你懂的~~~

赞 (0)

相关推荐

  • PHP实现多进程并行操作的详解(可做守护进程)

    如下所示: 复制代码 代码如下: /** * 入口函数 * 将此文件保存为 ProcessOpera.php * 在terminal中运行 /usr/local/php/bin/php ProcessOpera.php & * 查看进程 ps aux|grep php */ProcessOpera("runCode", array(), 8); /** * run Code */function runCode($opt = array()) {   //需要在守护进程中运行的

  • 如何写php守护进程（Daemon）

    守护进程(Daemon)是运行在后台的一种特殊进程.它独立于控制终端并且周期性地执行某种任务或等待处理某些发生的事件.守护进程是一种很有用的进程.php也可以实现守护进程的功能. 一.基本概念 进程: 每个进程都有一个父进程,子进程退出,父进程能得到子进程退出的状态. 进程组:每个进程都属于一个进程组,每个进程组都有一个进程组号,该号等于该进程组组长的PID 二.守护编程要点 1. 在后台运行               为避免挂起控制终端将Daemon放入后台执行.方法是在进程中调用fork使

  • PHP扩展程序实现守护进程

    一般Server程序都是运行在系统后台,这与普通的交互式命令行程序有很大的区别.glibc里有一个函数daemon.调用此函数,就可使当前进程脱离终端变成一个守护进程,具体内容参见man daemon.PHP中暂时没有此函数,当然如果你有兴趣的话,可以写一个PHP的扩展函数来实现. PHP命令行程序实现守护进程化有2种方法: 一 .使用nohup 复制代码 代码如下: nohup php myprog.php > log.txt & 这里就实现了守护进程化. 单独执行 php myprog.

  • PHP程序级守护进程的实现与优化的使用概述

    首先需要解释的是什么是守护进程. 守护进程就是在后台一直运行的进程.比如我们启动的httpd,mysqld等进程都是常驻内存内运行的程序. 针对需求进行分析: 需求:有一个常驻队列messageQueue(假设在redis内存中),这个队列会有可能有请求不定期的往队列中增加元素.同时我们要求在队列中有元素的时候,按照队列顺序将元素pop出来,并进行处理(假设这个处理只是echo 'test'); 解决方法: 现在假设已经有了两个函数 function oPopMessageQueue(){ -}

  • 分享PHP守护进程类

    用PHP实现的Daemon类.可以在服务器上实现队列或者脱离 crontab 的计划任务.  使用的时候,继承于这个类,并重写 _doTask 方法,通过 main 初始化执行. <?php class Daemon { const DLOG_TO_CONSOLE = 1; const DLOG_NOTICE = 2; const DLOG_WARNING = 4; const DLOG_ERROR = 8; const DLOG_CRITICAL = 16; const DAPC_PATH =

  • PHP将进程作为守护进程的方法

    本文实例讲述了PHP将进程作为守护进程的方法.分享给大家供大家参考.具体分析如下: php中posix_setsid()的用法 文档解释是"Make the current process a session leader" 参考文档:http://linux.die.net/man/2/setsid 意思就是在一个进程组之间(父进程和子进程)调用这个函数的进程会被选举为进程组的leader 所以让一个进程成为守护进程的方法就是: 1 fork出一个子进程 2 在子进程posix_se

  • PHP程序员玩转Linux系列 使用supervisor实现守护进程

    PHP程序员玩转Linux系列 使用supervisor实现守护进程

    PHP程序员玩转Linux系列文章: 1.PHP程序员玩转Linux系列-怎么安装使用CentOS 2.PHP程序员玩转Linux系列-lnmp环境的搭建 3.PHP程序员玩转Linux系列-搭建FTP代码开发环境 4.PHP程序员玩转Linux系列-备份还原MySQL 5.PHP程序员玩转Linux系列-自动备份与SVN 6.PHP程序员玩转Linux系列-Linux和Windows安装nginx 7.PHP程序员玩转Linux系列-nginx初学者引导 8.PHP程序员玩转Linux系列-N

  • PHP守护进程实例

    php也是可以直接进行守护进程的启动与终止的,相对于shell来说会简单很多,理解更方便,当然了php的守护进程要实现自动重启还是要依赖于shell的crontab日程表,每隔一段时间去执行一次脚本看脚本是否需要重启,如果需要则杀掉进程删除RunFile文件,重新启动并在RunFile文件中写入pid. 复制代码 代码如下: <?php       function start($file){     $path = dirname(__FILE__).'/';     $runfile = $

  • php脚本守护进程原理与实现方法详解

    本文实例讲述了php脚本守护进程原理与实现方法.分享给大家供大家参考,具体如下: 思路: 1. while 循环,若当前没有数据要操作可以休眠: 2. crontab 脚本每隔固定时间段执行该脚本,执行时先检测是否已在执行,若无 执行,有则 跳过. 3. nohup  后台执行 4. flock -xn  加锁 实例: 要执行代码:index.php <?php set_time_limit(0); //死循环 while(1) { $message = '1111111' . "\n&q

  • PHP高级编程实例：编写守护进程

    1.什么是守护进程 守护进程是脱离于终端并且在后台运行的进程.守护进程脱离于终端是为了避免进程在执行过程中的信息在任何终端上显示并且进程也不会被任何终端所产生的终端信息所打断. 例如 apache, nginx, mysql 都是守护进程 2.为什么开发守护进程 很多程序以服务形式存在,他没有终端或UI交互,它可能采用其他方式与其他程序交互,如TCP/UDP Socket, UNIX Socket, fifo.程序一旦启动便进入后台,直到满足条件他便开始处理任务. 3.何时采用守护进程开发应用程

  • PHP守护进程的两种常见实现方式详解

    本文实例讲述了PHP守护进程的两种常见实现方式.分享给大家供大家参考,具体如下: 第一种方式,借助 nohup 和 &  配合使用. 在命令后面加上 & 符号, 可以让启动的进程转到后台运行,而不占用控制台,控制台还可以再运行其他命令,这里我使用一个while死循环来做演示,代码如下 <?php while(true){ echo time().PHP_EOL; sleep(3); } 用 & 方式来启动该进程 [root@localhost php]# php deadlo

  • php守护进程 加linux命令nohup实现任务每秒执行一次

    Unix中 nohup 命令功能就是不挂断地运行命令,同时 nohup 把程序的所有输出到放到当前目录 nohup.out 文件中,如果文件不可写,则放到 <用户主目录>/nohup.out 文件中.那么有了这个命令以后我们php就写成shell 脚本使用循环来让我们脚本一直运行下去,不管我们终端窗口是否关闭都能够让我们php 脚本一直运行下去. 马上动手写个 PHP 小程序,功能为每30秒记录时间,写入到文件 复制代码 代码如下: # vi for_ever.php #! /usr/loca

随机推荐