php大量数据返回慢,php数据缓存

在PHP中怎么解决大量数据处理的问题

mysql_query函数查询的方式是查询出全部结果后缓存到内存中，这样就会出现超内存的现象，使用另外一个函数mysql_unbuffered_query可以解决这个问题，mysql_unbuffered_query不会缓存结果集，而是查询出来数据后立马对结果集进行操作，也就是便查询边返回，这样就不会出现超出内存的现象，但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 发送一条新的 SQL 查询之前，必须提取掉所有未缓存的 SQL 查询所产生的结果行。例如：

使用缓存结果集的代码：

function selecttest()

{

try {

$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');

// 不使用缓存结果集方式

// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$sth = $pdo-prepare('select * from test');

$sth-execute();

echo '最初占用内存大小：' . memory_get_usage() . "\n";

$i = 0;

while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {

$i += 1;

if ($i 10) {

break;

}

sleep(1);

print_r($result);

echo '占用内存大小：' . memory_get_usage() . "\n";

}

} catch (Exception $e) {

echo $e-getMessage();

}

}

执行时将会报超出内存的错误：

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0

0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85

0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56

将上面代码中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集，这时运行该函数的结果如下：

最初占用内存大小：144808

Array

(

[id] = 1

[a] = v

[b] = w

[c] = i

)

占用内存大小：145544

Array

(

[id] = 2

[a] = b

[b] = l

[c] = q

)

占用内存大小：145544

Array

(

[id] = 3

[a] = m

[b] = p

[c] = h

)

占用内存大小：145536

Array

(

[id] = 4

[a] = j

[b] = i

[c] = b

)

占用内存大小：145536

可以看到，这时返回一条数据内存占用非常的小，也就700多字节，这样就不会出现超出内存的错误了。

相关问答

Q1: php处理大量数据时，运行到一定时间就中断了，请问如何解决

php处理数据时会有一个等待时间，就是所说的超时时间，而且如果使用mysql的话，它也有一个超时时间，运行一串代码时间如果超过配置文件的时间，会被中断不运行。第一种你可以修改php配置文件timeout的运行时间，第二你可以分批处理大量数据，注意是分批处理，就OK了。

Q2: php+mysql在数据库里数据大的话查询很慢

1.建立索引，尽可能把索引建立到你你经常比较的字段上，如select

a,b,c,d

from

a

where

索引字段＝值，这个索引字段最好是数值型数据

2.慢有更多情况，

情况1：远程查询，其实可能查询不慢，由于数据量大，传输过程慢

情况2：WHERE

后面的比较数据太多，比如

like

类的语句

情况3：需要哪个字段只取那个字段就行了，比如select

*

from

a与select

b,c,d

from

a速度是有差距的

3.数据库定期维护，压缩，把不常用的数据备份后放入备份库里，查询时查备份库等

问题补充：

.第一条：建立索引，怎么建立，我也听说过，但不知道怎么使用

答：每种数据建立索引的方法有差异，比如SQL

SERVER

2000中可对多个字段进行索引，比如SQL

SERVER2000中有命令

CREATE

INDEX

为给定表或视图创建索引。

只有表或视图的所有者才能为表创建索引。表或视图的所有者可以随时创建索引，无论表中是否有数据。可以通过指定限定的数据库名称，为另一个数据库中的表或视图创建索引。

语法

CREATE

[

UNIQUE

]

[

CLUSTERED

|

NONCLUSTERED

]

INDEX

index_name

ON

{

table

|

view

}

(

column

[

ASC

|

DESC

]

[

,...n

]

)

[

WITH

index_option

[

,...n]

]

[

ON

filegroup

]

index_option

::=

{

PAD_INDEX

|

FILLFACTOR

=

fillfactor

|

IGNORE_DUP_KEY

|

DROP_EXISTING

|

STATISTICS_NORECOMPUTE

|

SORT_IN_TEMPDB

}

第三条：数据库定期维护，压缩：怎么个压缩法？及时备份数据到备份库查询备份库，那查询时不是还慢吗？

答：这个有压缩工具，基本上每种数据库都有自己的压缩数据库的工具

Q3: php 如何解决读大量数据卡的情况

你写代码的时候注意 HTML格式 和CSS格式。不要把所有内容都写到同一个DIV中间，这样东西多的时候就会卡住。要分层次显示，另外碰到数据库查询文字非常多的你还可以使用AJAX 返回数据 这样HTML就可以很快的显示 显示完毕才去读数据库这样速度会快很多。至于楼上说的 缓存 数据库存储过程 可以参考一下，不过一般企业站不需要考虑。碰到大站在线100人以上的才会做。

Q4: php查询大数据很慢.怎么回事.才100多万

表结构可能有问题，你用来查询的字段是键么？不是的话在百万数据量时时间长是必然的，还有你的SQL语句，如果有联表查之类的，而表之间的关联和条件有非键项，那慢也是正常的

Q5: 用php语言从服务器返回数据超过80k后速度就非常非常慢！测试后发现好像是输出缓存问题，请问怎么解决！

对于php的输出，貌似apache采取的策略是小段输出直接传输，大段输出就切割成chunked分段。在chunked分段没有传输完成之前，apache和php一直保持连接状态。也就是说，如果php的输出字符串比较小，那么apache会把这些数据暂存，等到php执行完了之后再发给浏览器。而当php输出大段字符的时候，apache就不会缓存输出，直接把输出丢给浏览器，而且在此过程中会暂时停止php的执行！

所以使用缓存是解决此类问题的根本办法。ob_start()就是启用php的缓冲区。php还可以通过安装xcache等缓存模块实现。apache中开启gzip压缩也可以。