php数据库插入队列 php数据库增加

请教PHP+Redis实现任务队列的思路

// 创建请求ID标志, uniqid 无法保证唯一, 自己去搜索生成唯一的方法

$uuid = uniqid();

$tsk_name = "mytask";

$time_out = 30000; // 超时策略: 30秒

$time_start = time();

$redis-rPush($tsk_name, $uuid); // 右(后)插入队列

// 堵塞等待队列中第一个和$uuid匹配的(到我了)

while($uuid != $redis-lGet($tsk_name, 0)){

if((time()-$time_start) $time_out) {

break; // 超时跳出(某些原因队列异常了, 可能永远取不到)

}

usleep(10); // sleep 10ms, 再次尝试

}

// 这里执行任务的处理代码....

// $response 已拼装好要返回的内容

// 处理完成后(数据库等已入库更新), 需要:

if($redis-lGet($tsk_name, 0) == $uuid){ // 再次确认第一个是本请求

$redis-lPop($tsk_name); // 完成任务了, 从队列中移除

}else{

// 出现这种情况, 是因为超时了, 或前面的$uuid没有被消费

// 若不清除, 后续的请求, 都将无法正常进入队列执行

// 取队列中的所有$uuid

$queues = $redis-lRange($tsk_name, 0, -1);

foreach($queues as $i=$uid){

if($uid==$uuid){

相关问答

Q1: PHP 数据结构队列(SplQueue)和优先队列(SplPriorityQueue)简单使用实例

队列这种数据结构更简单，就像我们生活中排队一样，它的特性是先进先出(FIFO)。

PHP

SPL中SplQueue类就是实现队列操作，和栈一样，它也可以继承双链表(SplDoublyLinkedList)轻松实现。

SplQueue类摘要如下：

SplQueue简单使用如下：

复制代码

代码如下:

$queue

=

new

SplQueue();

/**

*

可见队列和双链表的区别就是IteratorMode改变了而已，栈的IteratorMode只能为：

*

（1）SplDoublyLinkedList::IT_MODE_FIFO

|

SplDoublyLinkedList::IT_MODE_KEEP

（默认值,迭代后数据保存）

*

（2）SplDoublyLinkedList::IT_MODE_FIFO

|

SplDoublyLinkedList::IT_MODE_DELETE

（迭代后数据删除）

*/

$queue-setIteratorMode(SplDoublyLinkedList::IT_MODE_FIFO

|

SplDoublyLinkedList::IT_MODE_DELETE);

//SplQueue::enqueue()其实就是

SplDoublyLinkedList::push()

$queue-enqueue('a');

$queue-enqueue('b');

$queue-enqueue('c');

//SplQueue::dequeue()其实就是

SplDoublyLinkedList::shift()

print_r($queue-dequeue());

foreach($queue

as

$item)

{

echo

$item

.

PHP_EOL;

}

print_r($queue);

而优先队列SplPriorityQueue是基于堆(后文介绍)实现的。

SplPriorityQueue的类摘要如下：

SplPriorityQueue简单使用：

$pq

=

new

SplPriorityQueue();

$pq-insert('a',

10);

$pq-insert('b',

1);

$pq-insert('c',

8);

echo

$pq-count()

.PHP_EOL;

//3

echo

$pq-current()

.

PHP_EOL;

//a

/**

*

设置元素出队模式

*

SplPriorityQueue::EXTR_DATA

仅提取值

*

SplPriorityQueue::EXTR_PRIORITY

仅提取优先级

*

SplPriorityQueue::EXTR_BOTH

提取数组包含值和优先级

*/

$pq-setExtractFlags(SplPriorityQueue::EXTR_DATA);

while($pq-valid())

{

print_r($pq-current());

//a

c

b

$pq-next();

}

Q2: 在php队列php-resque里头使用了数据库的单例模式显示MySQL server has gone away

PHP的轻量消息队列php-resque使用说明

消息队列处理后台任务带来的问题

项目中经常会有后台运行任务的需求php数据库插入队列，比如发送邮件时，因为要连接邮件服务器，往往需要5-10秒甚至更长时间，如果能先给用户一个成功的提示信息，然后在后台慢慢处理发送邮件的操作，显然会有更好的用户体验。

为php数据库插入队列了实现类似的需求，Web项目中一般的实现方法是使用消息队列(Message Queue)，比如MemcacheQ，RabbitMQ等等，都是很著名的产品。

消息队列说白php数据库插入队列了就是一个最简单的先进先出队列，队列的一个成员就是一段文本。正是因为消息队列实在太简单了，当拿着消息队列时，反而有点无从下手的感觉，因为这仅仅一个发送邮件的任务，就会引申出很多问题：

消息队列只能存储字符串类型的数据，如何将一个发送邮件这样的“任务”，转换为消息队列中的一个“消息”?

消息队列只负责数据的存放与进出，本身不能执行任何程序，那么我们要如何从消息队列中一个一个取出数据，再将这些数据转化回任务并执行。

我们无法预知消息队列何时会有数据产生，所以我们的任务执行程序还需要具备监控消息队列的能力，也就是一个常驻后台的守护进程。

一般的Web应用PHP都以cgi方式运行，无法常驻内存。我们知道php还有cli模式，那么守护进程是否能以php cli来实现，效率如何php数据库插入队列？

当守护进程运行时，Web应用能否与后台守护进程交互，实现开启/杀死进程的功能以及获得进程的运行状态？

Resque对后台任务的设计与角色划分

对以上这些问题，目前为止我能找到的最好答案，并不是来自php，而是来自Ruby的项目Resque，正是由于Resque清晰简单的解决了后台任务带来的一系列问题，Resque的设计也被Clone到Python、php、NodeJs等语言：比如Python下的pyres以及PHP下的php-resque等等，这里有各种语言版本的Resque实现，而在本篇日志里，我们当然要以PHP版本为例来说明如何用php-resque运行一个后台任务，可能一些细节方面会与Ruby版有出入，但是本文中以php版为准。

Resque是这样解决这些问题的：

后台任务的角色划分

其实从上面的问题已经可以看出，只靠一个消息队列是无法解决所有问题的，需要新的角色介入。在Resque中，一个后台任务被抽象为由三种角色共同完成：

Job | 任务 ： 一个Job就是一个需要在后台完成的任务，比如本文举例的发送邮件，就可以抽象为一个Job。在Resque中一个Job就是一个Class。

Queue | 队列 ： 也就是上文的消息队列，在Resque中，队列则是由Redis实现的。Resque还提供了一个简单的队列管理器，可以实现将Job插入/取出队列等功能。

Worker | 执行者 ： 负责从队列中取出Job并执行，可以以守护进程的方式运行在后台。

那么基于这个划分，一个后台任务在Resque下的基本流程是这样的：

将一个后台任务编写为一个独立的Class，这个Class就是一个Job。

在需要使用后台程序的地方，系统将Job Class的名称以及所需参数放入队列。

以命令行方式开启一个Worker，并通过参数指定Worker所需要处理的队列。

Worker作为守护进程运行，并且定时检查队列。

当队列中有Job时，Worker取出Job并运行，即实例化Job Class并执行Class中的方法。

至此就可以完整的运行完一个后台任务。

在Resque中，还有一个很重要的设计：一个Worker，可以处理一个队列，也可以处理很多个队列，并且可以通过增加Worker的进程/线程数来加快队列的执行速度。

php-resque的安装

需要提前说明的是，由于涉及到进程的开辟与管理，php-resque使用了php的PCNTL函数，所以只能在Linux下运行，并且需要php编译PCNTL函数。如果希望用Windows做同样的工作，那么可以去找找Resque的其php数据库插入队列他语言版本，php在Windows下非常不适合做后台任务。

以Ubuntu12.04LTS为例，Ubuntu用apt安装的php已经默认编译了PCNTL函数，无需任何配置，以下指令均为root帐号安装Redis

apt-get install redis-server

安装Composer

apt-get install curl

cd /usr/local/bin

curl -s | phpchmod a+x composer.phar

alias composer='/usr/local/bin/composer.phar'

使用Composer安装php-resque

假设web目录在/opt/htdocs

apt-get install git git-core

cd /opt/htdocs

git clone git://github.com/chrisboulton/php-resque.gitcd php-resque

composer install

php-resque的使用

编写一个Worker

其实php-resque已经给出了简单的例子， demo/job.php文件就是一个最简单的Job：

class PHP_Job

{

public function perform()

{

sleep(120);

fwrite(STDOUT, 'Hello!');

}

}

这个Job就是在120秒后向STDOUT输出字符Hello!

在Resque的设计中，一个Job必须存在一个perform方法，Worker则会自动运行这个方法。

将Job插入队列

php-resque也给出了最简单的插入队列实现 demo/queue.php：

if(empty($argv[1])) {

die('Specify the name of a job to add. e.g, php queue.php PHP_Job');}

require __DIR__ . '/init.php';

date_default_timezone_set('GMT');

Resque::setBackend('127.0.0.1:6379');

$args = array(

'time' = time(),

'array' = array(

'test' = 'test',

),

);

$jobId = Resque::enqueue('default', $argv[1], $args, true);echo "Queued job ".$jobId."\n\n";

在这个例子中，queue.php需要以cli方式运行，将cli接收到的第一个参数作为Job名称，插入名为'default'的队列，同时向屏幕输出刚才插入队列的Job Id。在终端输入：

php demo/queue.php PHP_Job

结果可以看到屏幕上输出：

Queued job b1f01038e5e833d24b46271a0e31f6d6即Job已经添加成功。注意这里的Job名称与我们编写的Job Class名称保持一致：PHP_Job查看Job运行情况

php-resque同样提供了查看Job运行状态的例子，直接运行：

php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d6可以看到输出为：

Tracking status of b1f01038e5e833d24b46271a0e31f6d6. Press [break] to stop.

Status of b1f01038e5e833d24b46271a0e31f6d6 is: 1我们刚才创建的Job状态为1。在Resque中，一个Job有以下4种状态：

Resque_Job_Status::STATUS_WAITING = 1; (等待)Resque_Job_Status::STATUS_RUNNING = 2; (正在执行)Resque_Job_Status::STATUS_FAILED = 3; (失败)Resque_Job_Status::STATUS_COMPLETE = 4; (结束)因为没有Worker运行，所以刚才创建的Job还是等待状态。

运行Worker

这次我们直接编写demo/resque.php：

?php

date_default_timezone_set('GMT');

require 'job.php';

require '../bin/resque';

可以看到一个Worker至少需要两部分：

可以直接包含Job类文件，也可以使用php的自动加载机制，指定好Job Class所在路径并能实现自动加载包含Resque的默认Worker： bin/resque

在终端中运行：

QUEUE=default php demo/resque.php

前面的QUEUE部分是设置环境变量，我们指定当前的Worker只负责处理default队列。也可以使用QUEUE=* php demo/resque.php

来处理所有队列。

运行后输出为

#!/usr/bin/env php

*** Starting worker

用ps指令检查一下：

ps aux | grep resque

可以看到有一个php的守护进程已经在运行了

1000 4607 0.0 0.1 74816 11612 pts/3 S+ 14:52 0:00 php demo/resque.php再使用之前的检查Job指令

php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d62分钟后可以看到

Status of b1f01038e5e833d24b46271a0e31f6d6 is: 4任务已经运行完毕，同时屏幕上应该可以看到输出的Hello!

至此我们已经成功的完成了一个最简单的Resque实例的全部演示，更复杂的情况以及遗留的问题会在下一次的日志中说明。

php数据库插入队列的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php数据库增加、php数据库插入队列的信息别忘了在本站进行查找喔。