php吐出一千万条数据，php遍历一万条数据时间

PHP效率问题,上万条数据一次性取出?还是分开取出处理?

php使用的数据库一般是mysql，当数据量大于1000万时，为了效率最好还会进行分表存储。

个人建议还是拆分的比较好，一次查询虽然写法上可能会省代码，但是效率就很低下，因为即使加了索引，而在你联合查询 的时候语句写的不当就会导致索引不生效，从而效率就会下降。

对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。

建议你读写数据和下载图片分开，各用不同的进程完成。比如说，取数据用get-data.php，下载图片用get-image.php。多进程的话，php可以简单的用pcntl_fork()。这样可以并发多个子进程。

相关问答

Q1: php怎么导出大量数据的Excel

1、php导出大量数据到Excel，可以通过生成多个Excel文件，然后压缩成压缩包解决。方案是：假如我们数据库有10w条数据，每2000条数据生成一个Excel文件，这样每次只要从数据库里查询出2000条数据即可，一定要分页去查询。

2、下载phpMyAdmin v2软件后解压放在网站根目录 用root用户和密码登入phpMyAdmin，在左边栏点击要导出的数据库，然后点击要导出的数据表，最后点击导出如图所示。

3、php导出数据excel有专门的库，当导出少量数据的时候速度很快，但是当数据量大的时候就会存在服务器内存不够之类的。所以在导出大量数据的时候就应该分页查询数据，避免服务器宕机。

4、实现步骤：一：在http：//phpexcel.codeplex.com/下载最新PHPExcel放到Vendor下，注意位置：ThinkPHP\Extend\Vendor\PHPExcel\PHPExcel.php。

5、可以使用它来读取、写入不同格式的电子表格，如 Excel (BIFF) .xls， Excel 2007 (OfficeOpenXML) .xlsx， CSV， Libre/OpenOffice Calc .ods， Gnumeric， PDF， HTML等等。

Q2: php数据库用一个sql取数据还是多个sql分开取数据好

个人建议还是拆分的比较好，一次查询虽然写法上可能会省代码，但是效率就很低下，因为即使加了索引，而在你联合查询 的时候语句写的不当就会导致索引不生效，从而效率就会下降。

当读取或写入数据库时，数据库使用锁机制来限制其他连接对其进行操作。由于联邦查询比单个查询慢得多，它们会增加锁争用，因此单个查询更好。3．从逻辑结构层面来看，分层原则 关联表示业务规则／逻辑。

从开发效率来看：联合查询是需要多个单查询进行逻辑组合才能完成的查询的工作，联合查询仅仅需要一个SQL就可以完成查询工作，即把业务逻辑放到了SQL中，由数据库来处理，相对来说开发效率会比较高些。

Q3: php采集大数据的方案

方法：在phpMyAdmin的目录下，找到根目录的config.inc.php文件，打开config.inc.php文件，查找$cfg[UploadDir]，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。

使用phpstudy搭建一个测试平台，直接访问数据库。下载的phpcms安装包拷贝到IIS目录，开通访问，即可搭建成功。登录网站后台，系统权限，文件目录以及数据库等功能，进行管理。

当前市场上有多种可选择的大数据采集工具，如Nutch、Scrapy、BeautifulSoup等等，企业可以根据自身的需求选择相应的工具。每种工具都有其优缺点，需要根据需求综合考虑。

大数据采集方法有多种，其中一种常用的方法是使用网络爬虫技术。网络爬虫可以自动抓取互联网上的数据，并将其存储到数据库或其他数据存储介质中。

Q4: php处理上百万条的数据库如何提高处理查询速度_MySQL

处理上百万条的数据库如何提高处理查询速度（转） 处理上百万条的数据库如何提高处理查询速度 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。

尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会 逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。

选取最适用的字段属性。MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。

尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。

案例一：大学有段时间学习爬虫，爬取了知乎300w用户答题数据，存储到mysql数据中。那时不了解索引，一条简单的“根据用户名搜索全部回答的sql“需要执行半分钟左右，完全满足不了正常的使用。

php吐出一千万条数据的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php遍历一万条数据时间、php吐出一千万条数据的信息别忘了在本站进行查找喔。