php返回数据太大,php如何处理大数据

phpcms数据量较大怎么办呢？过几十万级了，每次生成都很累，官方有什么解决不？

回复 5# freshcn 一般资讯站点，新闻量肯定大，动不动都是万级以上的，所以，而且经常改动页面某一部分，这就涉及到重新生成的问题了如果还是用传统的HTML，那这个速度。。。是吧，肯定不行的，所以，希望官方是否在AJAX，XML以及SHTML方面考虑一下呢毕竟现在的网站哪个不采集，一采集就是上万万的，生成很耗时间的

相关问答

Q1: PHP 数据库设计，用户表数据量大该怎么优化

有很多种方法可以优化:

数据库设置主从，进行读写分离；

数据分表，如按月份分表，需要统计数据就查总表；

优化查询语句，适当增加索引；

字段优化，对不常用或者没有必要的字段可以考虑放在另外一张表里，避免单表数据过大，字段过多。

Q2: php+mysql在数据库里数据大的话查询很慢

1.建立索引，尽可能把索引建立到你你经常比较的字段上，如select

a,b,c,d

from

a

where

索引字段＝值，这个索引字段最好是数值型数据

2.慢有更多情况，

情况1：远程查询，其实可能查询不慢，由于数据量大，传输过程慢

情况2：WHERE

后面的比较数据太多，比如

like

类的语句

情况3：需要哪个字段只取那个字段就行了，比如select

*

from

a与select

b,c,d

from

a速度是有差距的

3.数据库定期维护，压缩，把不常用的数据备份后放入备份库里，查询时查备份库等

问题补充：

.第一条：建立索引，怎么建立，我也听说过，但不知道怎么使用

答：每种数据建立索引的方法有差异，比如SQL

SERVER

2000中可对多个字段进行索引，比如SQL

SERVER2000中有命令

CREATE

INDEX

为给定表或视图创建索引。

只有表或视图的所有者才能为表创建索引。表或视图的所有者可以随时创建索引，无论表中是否有数据。可以通过指定限定的数据库名称，为另一个数据库中的表或视图创建索引。

语法

CREATE

[

UNIQUE

]

[

CLUSTERED

|

NONCLUSTERED

]

INDEX

index_name

ON

{

table

|

view

}

(

column

[

ASC

|

DESC

]

[

,...n

]

)

[

WITH

index_option

[

,...n]

]

[

ON

filegroup

]

index_option

::=

{

PAD_INDEX

|

FILLFACTOR

=

fillfactor

|

IGNORE_DUP_KEY

|

DROP_EXISTING

|

STATISTICS_NORECOMPUTE

|

SORT_IN_TEMPDB

}

第三条：数据库定期维护，压缩：怎么个压缩法？及时备份数据到备份库查询备份库，那查询时不是还慢吗？

答：这个有压缩工具，基本上每种数据库都有自己的压缩数据库的工具

Q3: php ajax返回的数据太大怎么办

只有nginx和curl处于ESTABLISHED状态,nginx和fpm都没有被阻塞.

top -p 4075 可见Nginx单线程.

sudo strace -p 4075 可见Nginx调用recvfrom接收数据并且pwrite保存数据.

sudo strace -p 13751 可见PHP-FPM是在Nginx接收完成用户上传的数据时才获取数据.

Q4: php 想用echo返回比较大的数据 请问怎么用？

文件太大了，考虑使用分段处理，每次返回一小段。如果执行时间无限长的话服务负载大，极有可能使用。

Q5: 用php语言从服务器返回数据超过80k后速度就非常非常慢！测试后发现好像是输出缓存问题，请问怎么解决！

对于php的输出，貌似apache采取的策略是小段输出直接传输，大段输出就切割成chunked分段。在chunked分段没有传输完成之前，apache和php一直保持连接状态。也就是说，如果php的输出字符串比较小，那么apache会把这些数据暂存，等到php执行完了之后再发给浏览器。而当php输出大段字符的时候，apache就不会缓存输出，直接把输出丢给浏览器，而且在此过程中会暂时停止php的执行！

所以使用缓存是解决此类问题的根本办法。ob_start()就是启用php的缓冲区。php还可以通过安装xcache等缓存模块实现。apache中开启gzip压缩也可以。