laravel队列-让守护进程处理耗时任务

待解决的问题

最近在做一个服务器集群管理的web项目，需要处理一些极其耗时的操作，比如磁盘格式化分区。对于这个需求，最开始的想法是，为了让节点上的rpc（远程过程调用） service端尽可能简单（简单到只需要popen执行一条指令即可，有时间我再专门写一篇博客讲讲这个项目的rpc是如何实现的），我们选择了让web端直接等待处理结果，那么问题来了，如何保证用户不必等待，又能保证任务准确的执行呢？

简单的rpc结构如下图

以往在处理一些稍微耗时的操作，可以通过优化代码结构，优化数据库操作次数，起一些线程来处理一些简单的比如发邮件，生成大的压缩文件，提取视频缩量图，服务器间互访等等操作，来避免用户在web页面的等待。

但现在这个操作显然不能用之前的这些方法做，因为现在的操作哪怕只执行一次，都是非常耗时的，更何况可能需要处理的可能是上百上千台服务器。这是在线程层面很难做，要知道在响应请求的web进程中起一个线程来做的话，在响应完断开tcp连接之后，这个进程很可能被kill掉，像Apache就是这样，当然可以通过配置改变apache的行为，但显然不太靠谱。

更好的做法是在web服务器上起一个守护进程去做这个事情，那么问题就在于如何创建守护进程了，好在laravel帮我们考虑了这个事情。

Laravel的队列

laravel的队列默认是以sync（同步）的方式来处理多个任务，这显然不是我们想要的。鉴于这个项目使用的是laravel4.1版本，我选择了beanstalkd来实现异步处理多个任务。

其中beanstalkd是一种比较专业的队列服务驱动器，是一个常驻后台服务，我们可以通过它提供的接口来把任务提交给它，由它创建的守护进程来执行队列。

配置队列执行环境

1.安装beanstalkd服务

我开发的电脑为CentOS5.4，版本比较低，所以装的过程中还是遇到些麻烦

首先执行下面的指令

 wget ftp://fr2.rpmfind.net/linux/epel/5/ppc/epel-release-5-4.noarch.rpm

 rpm -ivh epel-release--.noarch.rpm

 yum makecache

 yum search beanstalkd

但最后发现找不到这个软件，于是将yum的源换成了163的

 cd /etc/yum.repos.d

 wget http://mirrors.163.com/.help/CentOS5-Base-163.repo

 mv CentOS-Base.repo CentOS-Base.repo.bak

再次makecache && install 就OK了，安装完后启动beanstalkd服务

 service beanstalkd start

另外可以搜索到beanstalkd的配置文件放在了sysconfig下

为laravel添加beanstalkd的驱动

beanstalkd的php驱动包为pda/pheanstalk

进入laravel的protected目录，composer.json在这个目录下

执行

 composer require pda/pheanstalk .*

出现如下的错误

，

可以看出镜像地址响应 502，所以需要给composer找一个可用的镜像 http://www.phpcomposer.com/

修改~/.composer/config.json如下

然后回到protected目录，再执行前面安装驱动的命令安装，这回出现了不一样的错误

上面的php包中，第一个是为了phpstorm的对laravel更好的支持，后面一个symfony/yaml已经安装，并不需要升级，所以修改composer.json，直接将这两个项目删除掉就行了

删除完之后，再次执行安装命令安装

可以看到终于成功了，可以通过 composer show -i 查看安装了哪些包

测试

在TestController中添加一个action

 class TestController extends BaseController

 {

     public function getQueue(){

         //

         Log::info("添加一个对列任务");

         Queue::push('SendEmail',array('message'=>'哈哈'));

         Log::info('任务添加完毕');

         exit;

     }

 }

在app目录下新建tasks目录，并修改protected/composer.json和app/global.php，将这个目录加到类加载路径中

修改global.php

 ClassLoader::addDirectories(array(

    app_path().'/commands',

    app_path().'/controllers',

    app_path().'/models',

    app_path().'/database/seeds',

    app_path().'/library',

    app_path().'/tasks',

 ));

修改composer.json

 "classmap": [

   "app/commands",

   "app/controllers",

   "app/models",

   "app/database/migrations",

   "app/database/seeds",

   "app/tasks",

   "app/tests/TestCase.php"

 ]

以后的耗时调度任务的代码就放在这个目录下面了

首先新建一个BaseTask.php

 /**

  * Created by PhpStorm.

  * User: Administrator

  * Date: 2015/8/19 0019

  * Time: 11:55

  */

 abstract class BaseTask

 {

     public abstract  function fire($job,$data);

 }

然后新建一个SendMail.php

 /**

  * Created by PhpStorm.

  * User: Administrator

  * Date: 2015/8/19 0019

  * Time: 11:50

  */

 class SendEmail extends BaseTask

 {

     public function fire($job, $data)

     {

         // TODO: Implement fire() method.

         Log::info("对列任务执行".json_encode($data)."Time : ".time());

         sleep(30);

         Log::info("对列任务执行完毕".time());

         //  将任务从队列冲删除

         $job->delete();

         //  将任务返回到队列

 //        $job->release();

     }

 }

 'default'   => 'beanstalkd',

 'beanstalkd' => array(

    'driver' => 'beanstalkd',

    'host'   => 'localhost',

    'queue'  => 'default',

    'ttr'   =>    60,

 ),

 php artisan queue:work

 php artisan queue:listen

 php artisan queue:listen --timeout=