php爬虫数据量太大，php 爬虫

php生成关键词数据量过大

分解一下循环条件， 生成出来后保存一下，用sleep()函数停顿一下再继续执行 这样效率比较高，一次性生成的话全部保存在内存中，会越来越慢的。

你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。最好是换种方式实现，不要通过网页进行采集。

因为不会浪费大量的资源用一个页面来跑一个瞬间500次的for循环了。（你的500次for循环死了原因可能是获取的数据太多，大过了php限制的内存）不过印象中curl好像也有强制同步的选项，就是等待一个抓取后再执行下一步。

php导出大量数据到Excel，可以通过生成多个Excel文件，然后压缩成压缩包解决。方案是：假如我们数据库有10w条数据，每2000条数据生成一个Excel文件，这样每次只要从数据库里查询出2000条数据即可，一定要分页去查询。

php导出大量数据Excel的具体操作步骤如下：使用phpstudy搭建一个测试平台，直接访问数据库。下载的phpcms安装包拷贝到IIS目录，开通访问，即可搭建成功。登录网站后台，系统权限，文件目录以及数据库等功能，进行管理。

相关问答

Q1: PHP对于大流量网站,可以采用什么方法解决访问量问题?

memcache，页面静态化，对固定不变的页面采用静态处理，对数据库高并非，高访问，采取memcache技术，减轻对数据库的访问。

将session这类的信息，专门用某个独立服务来存储，例如redis/memchache，这个方案是比较推荐的。 反向代理服务，也是可以开启缓存的，如果开启了，会增加反向代理的负担，需要谨慎使用。

首先，确认服务器硬件是否足够支持当前的流量 其次，优化数据库访问。第三，禁止外部的盗链。第四，控制大文件的下载。

一般来说，解决WEB高并发的有效手段都是采用可线性扩展的多层分布式架构，我生产项目的架构是这样的，就在这里抛砖引玉一下。

这几个解决思路在一定程度上意味着更大的投入。HTML静态化 其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。

另外就是加大IIS同时访问连接数。访问量特大也得提升你的硬件设备以及宽带。总之根据具体问题来对待。例如你的宽待足够，硬件设备也够处理当前访问量，就提高IIS连接数就行了。

Q2: php+mysql在数据库里数据大的话查询很慢

1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。

2、优化SQL语句（让SQL语句更合理一些）。优化数据库字段类型。（能用其他的尽量不要用VCHAR）建立储存过程。

3、尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会 逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。

4、打开my.ini，如果是Linux服务器，那就是my.conf；然后在[mysqld]选项下面添加：skip-name-resolve 这个选项的意思是：禁用DNS解析，连接速度会快很多。

Q3: php如何排除网络爬虫,统计出访问量。

1、， 可以每访问一次，字段数量加一，但是这样会不准确，因为只要刷新一下，就会记录一下。2， 为了防止上面的情况发生，可以记录访问者的IP地址，重复的IP地址访问，只记录一次。

2、主流的网站流量统计系统不外乎两种实现策略：一种策略是在网页里面嵌入一段js，这段js会向特定的统计服务器发送请求的方式记录访问量；另一种策略是直接分析服务器日志，来统计网站访问量。

3、原理：根据不同的IP统计出当前有多少人在线。实现方式：可以用数据库，也可以用文本。我这里用了文本实现。

4、用户登录才能访问网站内容 分析：搜索引擎爬虫不会对每个这样类型的网站设计登录程序。听说采集器可以针对某个网站设计模拟用户登录提交表单行为。

5、它能够统计点击量，涉及的页面，访问者国家，访问者域名，访问者所用的浏览器等。统计信息展示页面可以通过Html代码自己定制。在最新版本中还加入跟踪google爬虫的功能。

Q4: 如何解决PHP里大量数据循环时内存耗尽的问题

1、PHP的查询缺省模式是缓冲模式。也就是说，查询数据结果会一次全部提取到内存里供PHP程序处理。这样给了PHP程序额外的功能，比如说，计算行数，将指针指向某一行等。更重要的是程序可以对数据集反复进行二次查询和过滤等操作。

2、重启web 服务器 如果是web服务器使用Apache， 则执行：httpd restart有些情况下，你可能不被允许私修改php.ini。比如如果你购买了虚拟主机服务，但是你的服务商确禁止你修改这个文件。

3、这个报错不是PHPExcel报的错，而是php本身报的，原因大概就是因为你读取的文件超过了php单次请求运算占有的内存值的最大值。

4、一般来说，PHP数组的内存利用率只有 1/10， 也就是说，一个在C语言里面100M 内存的数组，在php里面就要1G。特别是在PHP作为后台服务器的系统中，经常会出现内存耗费太大的问题。

Q5: PHP-大数据量怎么处理优化

尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会 逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。

将几个table 的 hotelId 字段， name字段 分别建立索引。 建立分表，将大数据分之。

如何优化操作大数据量数据库 下面以关系数据库系统Informix为例，介绍改善用户查询计划的方法。 合理使用索引 索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。

这样的结果就是PHP程序消耗较少的内存，但却增加了数据库服务器的压力，因为数据库会一直等待PHP来取数据，一直到数据全部取完。很显然，缓冲查询模式适用于小数据量查询，而非缓冲查询适应于大数据量查询。

你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。最好是换种方式实现，不要通过网页进行采集。

关于php爬虫数据量太大和php 爬虫的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。