php如何解决读取大数据 php 读取大excel

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

在PHP中怎么解决大量数据处理的问题

使用phpstudy搭建一个测试平台，直接访问数据库。下载的phpcms安装包拷贝到IIS目录，开通访问，即可搭建成功。登录网站后台，系统权限，文件目录以及数据库等功能，进行管理。

首先，安装程序会显示一个启动画面。如果使用的是不同的安装盘，也许Readme文件的格式可能有所不同，但是不影响应用程序的安装。在上面的对话框中可以直接单击对话框上的【下一步】按钮，进入下面的操作。

而且如果使用mysql的话，它也有一个超时时间，运行一串代码时间如果超过配置文件的时间，会被中断不运行。第一种你可以修改php配置文件timeout的运行时间，第二你可以分批处理大量数据，注意是分批处理，就OK了。

首先我们准备一个含有数据的Excel表格，表头和数据表中的表字段相对应。在ThinkPHP中引入PHPExcel类库。然后我们编写导入的PHP代码。然后我们编写导出的PHP代码。然后我们进行导出测试发现可以导出即可。

这个问题在PHP的官方网站上叫缓冲查询和非缓冲查询(Buffered and Unbuffered queries)。PHP的查询缺省模式是缓冲模式。也就是说，查询数据结果会一次全部提取到内存里供PHP程序处理。

你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。最好是换种方式实现，不要通过网页进行采集。

相关问答

Q1: PHP实现在有限内存中的大文件读取

1、下个文件切割软件，把50M切成每个3M左右（大小自己定义），然后就可以打开了。

2、PHP在下载大Excel表格的时候，那么首先它是需要去把MySQL的数据从硬盘上面读取到内存，但读取它是一次性载入到我们的内存，如果说它一次性载入的数据量远远大于最大内存，然后再来执行浏览器的业务下载。

3、这个报错不是PHPExcel报的错，而是php本身报的，原因大概就是因为你读取的文件超过了php单次请求运算占有的内存值的最大值。

4、？// 打开文件同时，打印每一行 $myFile = file( 10000txt)；//用file()函数读取文本文件的内容。

Q2: PHP-大数据量怎么处理优化

1、使用缓存，比如memcache，redis，因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。

2、1尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。

3、如何优化操作大数据量数据库下面以关系数据库系统Informix为例，介绍改善用户查询计划的方法。合理使用索引索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。

4、这样的结果就是PHP程序消耗较少的内存，但却增加了数据库服务器的压力，因为数据库会一直等待PHP来取数据，一直到数据全部取完。很显然，缓冲查询模式适用于小数据量查询，而非缓冲查询适应于大数据量查询。

Q3: php里fopen读大文件太慢,怎么解决

1、使用缓存如果PHP程序的规模很大，那么提高速度的办法就是使用缓存。现在已经有许多缓存方案可供选择，其中包括Zend Cache、APC和Afterburner Cache。压缩网页内容影响站点的访问速度还有1个重要因素，那就是下载速度。

2、each_list = $modelattr-where(order_sn=.$val[order_num].)-select()；这一句没有看懂，是Thinkphp中数据库类吗？如果愿意自己写sql的话，可以尝试一下sql中用in，不过效率未见好到哪里去。

3、直接把输出丢给浏览器，而且在此过程中会暂时停止php的执行！所以使用缓存是解决此类问题的根本办法。ob_start()就是启用php的缓冲区。php还可以通过安装xcache等缓存模块实现。apache中开启gzip压缩也可以。

Q4: 实时生成并下载大数据量的EXCEL文件,用PHP如何实现?

你指定php如何解决读取大数据的PHPExcel生成的是xls格式的文件。是一种电子表格格式php如何解决读取大数据，这种格式一般是用excel打开处理的。直接用文本方式显示就是乱码的。

Excel导出是程序开发中的高频需求，尤其是在报表统计中。Excel导出不难实现，其关键在于如何解决数据量大时的性能问题。相对PHP而言，Java可能在此方面处理得比较好，这也许也是easyExcel如此受欢迎的原因。

用ajax传数据到后台php。如何生成excel 100 用js或得页面上的数据，通过ajax传送到后台，后台PHPexcel处理，但提交成功后返回的是字符串，如何才能使之成为excel文件。求高手解答。

php有个PHPExcel扩展，是可以实现你的要求的。php如何解决读取大数据我这里有个可以读取多个工作薄的自定义excel类，试试看：&ltphp如何解决读取大数据；php如何解决读取大数据？php / excel.class.php / class Excel { / 从excel文件中取得所有数据。并转换成指定编码格式。

有的PHP实际上是生产的HTML，可以使用HTML代码控制格式，比如FONT COLOR=XXX SIZE=X。有的PHP实际上是生产的XML，这类可以在CSS里面设置格式。

Q5: 如何解决PHP查询大量数据内存耗尽的问题

这个意味着PHP脚本使用了过多的内存，并超出了系统对其设置的允许最大内存。解决这个问题，首先需要查看你的程序是否分配了过多的内存，在程序没有问题的情况下，你可以通过一下方法来增加PHP的内存限制（memory_limit）。

我给你个思路，利用游览器的刷新机制，每执行10秒刷新一下自动更新下一串数据，一串多少数据，看你的SQL效率而定。就这样一直刷新更新，到结束为止。

使用缓存，比如memcache，redis，因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。

php如何解决读取大数据的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php 读取大excel、php如何解决读取大数据的信息别忘了在本站进行查找喔。