php大量数据处理 php多进程处理大数据

PHP效率问题,上万条数据一次性取出?还是分开取出处理?

php使用的数据库一般是mysql，当数据量大于1000万时，为了效率最好还会进行分表存储。

个人建议还是拆分的比较好，一次查询虽然写法上可能会省代码，但是效率就很低下，因为即使加了索引，而在你联合查询 的时候语句写的不当就会导致索引不生效，从而效率就会下降。

1并不是所有索引对查询都有效，SQL是根据表中数据来进行查询优化的，当索引列有大量数据重复时，SQL查询可能不会去利用索引，如一表中有字段sex，male、female几乎各一半，那么即使在sex上建了索引也对查询效率起不了作用。

相关问答

Q1: 如何解决PHP查询大量数据内存耗尽的问题

1、这个意味着PHP脚本使用php大量数据处理了过多的内存php大量数据处理，并超出了系统对其设置的允许最大内存。解决这个问题php大量数据处理，首先需要查看你的程序是否分配了过多的内存，在程序没有问题的情况下，你可以通过一下方法来增加PHP的内存限制（memory_limit）。

2、你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。最好是换种方式实现，不要通过网页进行采集。

3、而且如果使用mysql的话，它也有一个超时时间，运行一串代码时间如果超过配置文件的时间，会被中断不运行。第一种你可以修改php配置文件timeout的运行时间，第二你可以分批处理大量数据，注意是分批处理，就OK了。

Q2: php怎么导出大量数据的Excel

1、php导出数据excel有专门的库，当导出少量数据的时候速度很快，但是当数据量大的时候就会存在服务器内存不够之类的。所以在导出大量数据的时候就应该分页查询数据，避免服务器宕机。

2、php导出大量数据到Excel，可以通过生成多个Excel文件，然后压缩成压缩包解决。方案是：假如我们数据库有10w条数据，每2000条数据生成一个Excel文件，这样每次只要从数据库里查询出2000条数据即可，一定要分页去查询。

3、write-save(php：//output)；打开页面，刷新的时候会弹出对话框，让你选择文件保存路径和文件名称，我直接放在了桌面上，如图所示；打开表格后，数据和格式跟代码中的一致，说明PHP导出的Excel是正确的。

php大量数据处理的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php多进程处理大数据、php大量数据处理的信息别忘了在本站进行查找喔。