正文
php处理大批量数据6,php大数据处理思路
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
在PHP中怎么解决大量数据处理的问题
mysql_query函数查询的方式是查询出全部结果后缓存到内存中，这样就会出现超内存的现象，使用另外一个函数mysql_unbuffered_query可以解决这个问题，mysql_unbuffered_query不会缓存结果集，而是查询出来数据后立马对结果集进行操作，也就是便查询边返回，这样就不会出现超出内存的现象，但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 发送一条新的 SQL 查询之前，必须提取掉所有未缓存的 SQL 查询所产生的结果行。例如：
使用缓存结果集的代码：
function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用缓存结果集方式
// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo-prepare('select * from test');
$sth-execute();
echo '最初占用内存大小：' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i 10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大小：' . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e-getMessage();
}
}
执行时将会报超出内存的错误：
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56
Call Stack:
0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85
0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56
将上面代码中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集，这时运行该函数的结果如下：
最初占用内存大小：144808
Array
(
[id] = 1
[a] = v
[b] = w
[c] = i
)
占用内存大小：145544
Array
(
[id] = 2
[a] = b
[b] = l
[c] = q
)
占用内存大小：145544
Array
(
[id] = 3
[a] = m
[b] = p
[c] = h
)
占用内存大小：145536
Array
(
[id] = 4
[a] = j
[b] = i
[c] = b
)
占用内存大小：145536
可以看到，这时返回一条数据内存占用非常的小，也就700多字节，这样就不会出现超出内存的错误了。
相关问答
Q1: PHP 用PHPExcel往数据库导入大量数据
1、首先我们准备一个含有数据的Excel表格，表头和数据表中的表字段相对应。
2、在ThinkPHP中引入PHPExcel类库。
3、然后我们编写导入的PHP代码。
4、然后我们编写导出的PHP代码。
5、然后我们进行导出测试发现可以导出即可。
Q2: php处理大量数据时，运行到一定时间就中断了，请问如何解决
php处理数据时会有一个等待时间，就是所说的超时时间，而且如果使用mysql的话，它也有一个超时时间，运行一串代码时间如果超过配置文件的时间，会被中断不运行。第一种你可以修改php配置文件timeout的运行时间，第二你可以分批处理大量数据，注意是分批处理，就OK了。
