php写的爬虫程序运行慢，php爬虫框架phpspider

如何提高PHP写入文件的速度

Apache解析一个PHP脚本的时间要比解析一个静态HTML页面慢2至10倍。尽量多用静态HTML页面，少用脚本。2除非脚本可以缓存，否则每次调用时都会重新编译一次。

如果PHP程序的规模很大，那么提高速度的办法就是使用缓存。现在已经有许多缓存方案可供选择，其中包括Zend Cache、APC和Afterburner Cache。上面这几种都是“缓存模块”(caching modules)。

参数： filename：要被写入数据的文件名。 data：要写入的数据。类型可以是string，array或者stream资源。

PHP中file_get_contents函数的作用是获取一个 URL 的返回内容。如果是url响应速度慢，或者网络等因素，会造成等待时间较长的情况。只需设置一下file_get_contents函数的超时时间即可解决。

相关问答

Q1: 怎样提高php运行效率

1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。

2、如果你需要在一个在线的网站上去执行一个大的 DELETE 或 INSERT 查询，你需要非常小心，要避免你的操作让你的整个网站停止相应。因为这两个操作是会锁表的，表一锁住了，别的操作都进不来了。 Apache 会有很多的子进程或线程。

3、在现代的软件开发中，选择合适的开发工具是非常重要的。对于PHP开发者来说，PHP开发工具可以提高开发效率，简化代码编写过程，并提供强大的调试和测试功能。

4、使用PHPStorm开发Web应用程序非常容易。你只需创建一个新项目，然后选择你喜欢的Web框架。PHPStorm会自动为你创建一个基本的项目结构，并为你提供一些有用的代码片段，以帮助你更快地编写代码。

5、在编程时，使用一些小技巧也可以加快PHP的运行速度：(1)用i+=1代替i=i+1，既符合c/c++的习惯，效率相对还更高。(2)尽可能使用PHP内部函数。(3)能使用单引号字符串时，尽量使用单引号字符串。

6、：在可以用PHP内部字符串操作函数的情况下，不要用正则表达式。41：foreach效率更高，尽量用foreach代替while和for循环。42：用i+=1代替i=i+1。符合c/c++的习惯，效率还高。43：对global变量，应该用完就unset()掉。

Q2: 使用thinkphp后速度很慢,如何解决

用服务器，提高硬件。 内存放到8-16G的，条件允许可以用固态硬盘。 然后带宽加大，10-20M的， thinkPHP 调优已经很不错了。慢还可以把数据库读写分离。 频繁要用到的数据放到缓存等。

检查一下PHP环境，新建一个空的PHP文件运行看一下加载所需时间是否是毫秒级的。

会。工作时发现thinkphp注解路由是会变慢，尤其是在PHP3环境下运行，这是同时存在于IPv6和IPv4中造成冲突所致。建议尝试用数据库配置文件，服务器地址‘locahost’改成IP地址，用IP地址就快多了。

你可以用chrome，firefox，或者httpwatch的开发工具分析下资源的加载顺序，加载时间。看看那些资源阻塞了CSS的加载。

Q3: win2008的IIS7+PHP5.3.8,速度奇慢,为什么

1、CGI方式加载PHP环境，通常就是IIS里面配置解释器为php.exe，早期比较常见，目前使用较少。特点是：稳定，但效率太低。ISAPI方式加载PHP环境，通常就是IIS里面配置解释器为php5isapi.dll，目前使用最多，应用最广。

2、内部错误。在详细分析HTTP500内部错误产生的原因之前，先对IWAM账号进行一下简要的介绍：IWAM账号是安装IIS5时系统自动建立的一个内置账号，主要用于启动进程之外的应用程序的I nternet信息服务。

3、第三步，权限分配 IIS-网站－（具体站点）－（右键）权限－Users完全控制。要求登录是因为你开启了集成windows身份验证。详细：网站右键属性－目录安全性，这里去掉集成windows身份验证就可以了。

4、有支持IIS6和IIS1的32位版本和64位版本，还有支持IIS7的，因为IIS7与IIS6差别比较大，所以对于IIS7以后再介绍吧。

Q4: 如何让你写的爬虫速度像坐火箭一样快【并发请求】

实际在做的时候要让你的爬虫能并发请求的方式是分为多线程、多进程、协程三种的，并不是每一种方式在运行时的效果都像上面说的这样，这里先不做深入探讨，因为这不是本文的重点。

尽可能减少网站访问次数 单次爬虫的主要把时间消耗在网络请求等待响应上面，所以能减少网站访问就减少网站访问，既减少自身的工作量，也减轻网站的压力，还降低被封的风险。

网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器(问题1中描述过了)，或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。

Q5: 影响网络爬虫速度的因素主要是网络1/0?

线程数量我们可以通过for循环来实现，就如同当年初学编程的打点程序一样。比如已知用户指定了n(它是一个int型变量)个线程吧，可以用如下方法开启五个线程。

影响网络传输速率的因素主要有带宽、延迟和丢包。一般的网络来说局域网可能是百兆千兆，当时广域网出口的带宽只有2-10M，这样就存在一个带宽瓶颈问题。

蠕虫病毒的影响导致网速变慢 通过E-mail散发的蠕虫病毒对网络速度的影响越来越严重，危害性极大。

网络爬虫是一种自动化获取互联网上信息的技术。通过编写程序，网络爬虫可以模拟人类在浏览器中访问网页的行为，自动抓取网页上的数据。网络爬虫技术可以用于各种应用场景，如搜索引擎的网页索引、数据采集、舆情监控等。

网络自身问题您想要连接的目标网站所在的服务器带宽不足或负载过大。处理办法很简单，请换个时间段再上或者换个目标网站。

php写的爬虫程序运行慢的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php爬虫框架phpspider、php写的爬虫程序运行慢的信息别忘了在本站进行查找喔。