正文
PHP数据过多 php数据存储
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
如何解决PHP查询大量数据内存耗尽的问题
这个问题在PHP的官方网站上叫缓冲查询和非缓冲查询(Buffered and Unbuffered queries)。PHP的查询缺省模式是缓冲模式。也就是说，查询数据结果会一次全部提取到内存里供PHP程序处理。这样给了PHP程序额外的功能，比如说，计算行数，将指针指向某一行等。更重要的是程序可以对数据集反复进行二次查询和过滤等操作。但这种缓冲查询模式的缺陷就是消耗内存，也就是用空间换速度。
相对的，另外一种PHP查询模式是非缓冲查询，数据库服务器会一条一条的返回数据，而不是一次全部返回，这样的结果就是PHP程序消耗较少的内存，但却增加了数据库服务器的压力，因为数据库会一直等待PHP来取数据，一直到数据全部取完。
很显然，缓冲查询模式适用于小数据量查询，而非缓冲查询适应于大数据量查询。
相关问答
Q1: PHP-大数据量怎么处理优化
大数据的话可以进行以下操作：
减少对数据库的读取PHP数据过多，也就是减少调用数据库PHP数据过多，
进行数据缓存，
利用数据库的自身优化技术，如索引等
精确查询条件，有利于提高查找速度
Q2: PHP集群如何部署?当网站的访问,数据过多时.程序应该如何调整?
个人建议 至少4台服务器，并且最好是以局域网方式互通（服务器4可以完全独立）
服务器1和服务器2都只放php代码程序，暴露在外网，分别当电信服务器和网通服务器
服务器3只放数据库，通过用户权限，仅允许被服务器1和2访问——不暴露在外网
服务器4只放附件，暴露在外网，所有的附件请求，都直接对这个服务器进行
需要指出的是，你如果作为网站管理者，每次管理数据库，都要用1或者2当跳板，才可以访问。
Q3: php数据多影响返回速度吗
框架用的是ci,数据库是sqlsrv(sql server 2008)，sql查询返回的结果集有2万条数据，我在ci框架里面执行这个sql语句，网页一直在转圈，2万条数据要转30秒左右，但是我的sql语句在sql server 2008 R2 里面执行 是秒查，在ci里面用自带查询sql执行时间是200毫秒，，说明我的语句并不慢。个人觉得应该是返回数据太多导致慢的，返回的是2万条数据，20个字段左右，，因为我做的是统计 ，要把数据导出成csv文件,所以数据比较多，这个该怎么处理？
我的sql 语句是select * from table where create_time between 'xxxx-xx-xx 00:00:00' and 'xxxx-xx-xx 23:59:59'; 是根据时间段来的 如果用户选择的时间范围小 那数据就少 如果范围大 那数据就大 数据大的时候就很慢
public function aa(){
$sql ="select * from table where create_time between 'xxxx-xx-xx 00:00:00' and 'xxxx-xx-xx 23:59:59'";
$result=$this-db-query($sql)-result_array();
}
这已经是最简单的查询了，sql语句秒查，但是用浏览器执行就很慢，
我在浏览器里面执行 ， 如果查询结果几万条的话 浏览器就一直转圈，要等四十多秒，500条足有数据是3、4秒
我在想是不是result_array()这一步 需要循环需要花费太多的时间，本身记录就有几万条，然后还有二十个字段
==============2017-05-16 16：01更新===============
我没有用ci框架自带的result_array() ，查看ci框架文档的时候看到一段话:
经常的，你会需要提供一个数据库的 connection ID 或是一个 result ID， connection ID 可以这样来
$this-db-conn_id;
result ID 可以从查询返回的结果对象获取，像这样:
$query = $this-db-query("SOME QUERY");
$query-result_id;
于是我修改了我的代码 拿 result_id 去循环读取每条记录
$sql ="select xxx";
$query=$this-db-query($sql);
//这里因为我用的是sqlsrv 所以使用的是sqlsrv_fetch_array 来循环读取每一行
//然后每读一行 就写如csv文件
while($row=sqlsrv_fetch_array($query-result_id,SQLSRV_FETCH_ASSOC)){
//这里是把row 写入csv文件的代码
}
具体的代码就是下面了
$sql="xxx";
$query=$this-db-query($sql);
$filename= "CostDetail.csv";//导出的文件名
header('Content-Type: application/vnd.ms-excel');
header('Content-Disposition: attachment;filename="'.$filename.'"');
header('Cache-Control: max-age=0');
// 打开PHP文件句柄，php://output 表示直接输出到浏览器
$fp = fopen('php://output', 'a');
// 输出Excel列名信息
$head = array(xxx);
foreach ($head as $i = $v) {
// CSV的Excel支持GBK编码，一定要转换，否则乱码
$head[$i] = iconv('utf-8', 'gbk', $v);
}
// 将数据通过fputcsv写到文件句柄
fputcsv($fp, $head);
// 计数器
$cnt = 0;
// 从数据库中获取数据，为了节省内存，不要把数据一次性读到内存，从句柄中一行一行读即可
$limit = 5000;
while ($row=sqlsrv_fetch_array($query-result_id,SQLSRV_FETCH_ASSOC)){
$cnt ++;
if ($limit == $cnt) { //刷新一下输出buffer，防止由于数据过多造成问题
ob_flush();
flush();
$cnt = 0;
}
//这里是把每个字段的编码转成gbk
$newRow[] = $this-_mb_convert_encoding($row['edis_orgsoid']);
....
unset($row);
fputcsv($fp, $newRow);
unset($newRow);
}
exit;
这样能导出文件 但是我看了一下 19204行的，16列 的csv文件 3M左右 ， 需要40-45秒的时间才能导出好，，我想问这时间还能优化的再快点吗
Q4: 在PHP中怎么解决大量数据处理的问题
mysql_query函数查询的方式是查询出全部结果后缓存到内存中，这样就会出现超内存的现象，使用另外一个函数mysql_unbuffered_query可以解决这个问题，mysql_unbuffered_query不会缓存结果集，而是查询出来数据后立马对结果集进行操作，也就是便查询边返回，这样就不会出现超出内存的现象，但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 发送一条新的 SQL 查询之前，必须提取掉所有未缓存的 SQL 查询所产生的结果行。例如：
使用缓存结果集的代码：
function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用缓存结果集方式
// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo-prepare('select * from test');
$sth-execute();
echo '最初占用内存大小：' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i 10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大小：' . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e-getMessage();
}
}
执行时将会报超出内存的错误：
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56
Call Stack:
0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85
0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56
将上面代码中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集，这时运行该函数的结果如下：
最初占用内存大小：144808
Array
(
[id] = 1
[a] = v
[b] = w
[c] = i
)
占用内存大小：145544
Array
(
[id] = 2
[a] = b
[b] = l
[c] = q
)
占用内存大小：145544
Array
(
[id] = 3
[a] = m
[b] = p
[c] = h
)
占用内存大小：145536
Array
(
[id] = 4
[a] = j
[b] = i
[c] = b
)
占用内存大小：145536
可以看到，这时返回一条数据内存占用非常的小，也就700多字节，这样就不会出现超出内存的错误了。
PHP数据过多的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php数据存储、PHP数据过多的信息别忘了在本站进行查找喔。
