php爬取10万条数据 php数据抓取

Php如何分批处理数据

直接写一个php，递归执行就差不多了，但是php.ini中，将memory_limit设置大一些，再将mysql.connect_timeout值加大些，max_execution_time设置的值大一些。

你可以查1W条，然后按每个数据100条来分。

而且如果使用mysql的话，它也有一个超时时间，运行一串代码时间如果超过配置文件的时间，会被中断不运行。第一种你可以修改php配置文件timeout的运行时间，第二你可以分批处理大量数据，注意是分批处理，就OK了。

下载phpMyAdmin v2软件后解压放在网站根目录 用root用户和密码登入phpMyAdmin，在左边栏点击要导出的数据库，然后点击要导出的数据表，最后点击导出如图所示。

显示数据取出部分数据的方法最常用的是分页方式，分页是仅读取前面的几十页信息，读取数据库是很快的，可以比较一下10条和100条的显示速度，差很远。

相关问答

Q1: 几十万条数据用PHP递归能实现无限级分类吗

1、} 上面这种无限极分类数据树形结构化的方法值得借鉴。

2、无限级别的，使用递归编程比较容易，基本方法是定义一个显示子菜单的函数：function ShowMenu($pid){ ...显示数据库里面PID为$pid的所有菜单项目以及子项目（通过调用自身实现）...} 主程序调用ShowMenu(0)实现输出整个菜单。

3、递归很好理解啊，一般情况下都是用阶乘来入门的。无级分类算法是典型的递归操作。但在实际开发一般用伪无级分类，无级分类当分类级次多，每个分类节点多的情况下效率不高。

4、每个节点都要记录子节点的数量c。每新增一个节点都要对各父和祖节点的子节点计数加1。这样根节点会有总数的记录。这样递归遍历时也可以根据子节点数量c的来确定读取的数量限制。

Q2: php怎么导出大量数据的Excel

1、php导出数据excel有专门的库，当导出少量数据的时候速度很快，但是当数据量大的时候就会存在服务器内存不够之类的。所以在导出大量数据的时候就应该分页查询数据，避免服务器宕机。

2、php导出大量数据到Excel，可以通过生成多个Excel文件，然后压缩成压缩包解决。方案是：假如我们数据库有10w条数据，每2000条数据生成一个Excel文件，这样每次只要从数据库里查询出2000条数据即可，一定要分页去查询。

3、write-save(php：//output)；打开页面，刷新的时候会弹出对话框，让你选择文件保存路径和文件名称，我直接放在了桌面上，如图所示；打开表格后，数据和格式跟代码中的一致，说明PHP导出的Excel是正确的。

4、下载phpMyAdmin v2软件后解压放在网站根目录 用root用户和密码登入phpMyAdmin，在左边栏点击要导出的数据库，然后点击要导出的数据表，最后点击导出如图所示。

php爬取10万条数据的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php数据抓取、php爬取10万条数据的信息别忘了在本站进行查找喔。