php抓取大批量数据 php处理大批量数据

php curl 大量数据采集

这个需要配合js，打开一个html页面，首先js用ajax请求页面，返回第一个页面信息确定处理完毕（ajax有强制同步功能），ajax再访问第二个页面。（或者根据服务器状况，你可以同时提交几个URL，跑几个相同的页面）

参数可以由js产生并传递url，php后台页面根据URL抓页面。然后ajax通过php，在数据库或者是哪里设一个标量，标明检测到哪里。由于前台的html页面执行多少时候都没问题，这样php的内存限制和执行时间限制就解决了。

因为不会浪费大量的资源用一个页面来跑一个瞬间500次的for循环了。（你的500次for循环死了原因可能是获取的数据太多，大过了php限制的内存）

不过印象中curl好像也有强制同步的选项，就是等待一个抓取后再执行下一步。但是这个500次都是用一个页面线程处理，也就是说肯定会远远大于30秒的默认执行时间。

相关问答

Q1: php怎么导出大量数据的Excel

php导出大量数据Excelphp抓取大批量数据的具体操作步骤如下：

1、使用phpstudy搭建一个测试平台php抓取大批量数据，直接访问数据库。

2、下载的phpcms安装包拷贝到IIS目录php抓取大批量数据，开通访问，即可搭建成功。

3、登录网站后台，系统权限，文件目录以及数据库等功能，进行管理。

4、在phpcms后台，扩展，数据库工具，数据库导出，程序池选择phpcmsv9，开始备份数据。

5、打开IIS网站目录，在D:\wwwroot\kmxy\wwwroot\caches\bakup\default文件夹，查看导出的数据库文件。

6、登录phpmyadmin，选择数据库导出，选择Excel格式，即可导出。

Q2: PHP 用PHPExcel往数据库导入大量数据

1、首先我们准备一个含有数据的Excel表格，表头和数据表中的表字段相对应。

2、在ThinkPHP中引入PHPExcel类库。

3、然后我们编写导入的PHP代码。

4、然后我们编写导出的PHP代码。

5、然后我们进行导出测试发现可以导出即可。

Q3: PHP批量提取导入数据

很简单php抓取大批量数据的

select * from A1

..............

$Aname=$sql-query("name");

$Aage=$sql-query("age");

$Atel=$sql-query("tel");

$Adatetime=$sql-query("datetime");

$Asex=$sql-query("sex");

//取出A1表php抓取大批量数据的结果 变量

然后 拼接sex age

$sexage=$Asex.$Aage;

.........

下一步 插入到 B1表

insert into B1 value('{$Aname}','{$Atel}','{$Adatetime}','{$sexage}')

具体的格式 php抓取大批量数据你完善下就好php抓取大批量数据了 很简单的

关于php抓取大批量数据和php处理大批量数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。