php一次查询出百万数据 php实现简单的查询功能

php实现查询数据库数据,每次限定1000条

1、如果是用mysql数据库的话，一条语句可以插入几千条语句。类似以下语句：insert into table_name (field1，field2) values (1，2)，(2，3)，(3，5)，(5，6)请查看mysql手册。其他数据库请查阅相应手册。

2、每次插入数据库之间，先查看数据库中的数据的数目，然后做限制。

3、query($sql))；count=count($result)；//或者$count=mysql_num_rows($result)；不过直接使用MySQL的COUNT(*)在数据量庞大的时候，效率的优势是十分显著的，因为后者需要二次计算，所以还是最好使用前者进行数据条数的统计。

4、你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。最好是换种方式实现，不要通过网页进行采集。

5、限制一台电脑只能取一次的话，就通过ip和cookie和session去判断是不是同一台电脑咯。

相关问答

Q1: PHP导出100万数据到excel

php导出数据excel有专门php一次查询出百万数据的库，当导出少量数据php一次查询出百万数据的时候速度很快，但是当数据量大的时候就会存在服务器内存不够之类的。所以在导出大量数据的时候就应该分页查询数据，避免服务器宕机。

下载phpMyAdmin v2软件后解压放在网站根目录 用root用户和密码登入phpMyAdmin，在左边栏点击要导出的数据库，然后点击要导出的数据表，最后点击导出如图所示。

php导出大量数据到Excel，可以通过生成多个Excel文件，然后压缩成压缩包解决。方案是：假如php一次查询出百万数据我们数据库有10w条数据，每2000条数据生成一个Excel文件，这样每次只要从数据库里查询出2000条数据即可，一定要分页去查询。

write-save(php：//output)；打开页面，刷新的时候会弹出对话框，让你选择文件保存路径和文件名称，我直接放在了桌面上，如图所示；打开表格后，数据和格式跟代码中的一致，说明PHP导出的Excel是正确的。

Q2: 如何利用php数组对百万数据进行排重

首先，让我们来看看最简单的情况：将一个数组元素从低到高进行简单排序，这个函数既可以按数字大小排列也可以按字母顺序排列。

一般方法的合并数组，要看小标是0、...还是其它的关键字，相同下标的合并还是相同值的合并，具体细节有区别，流程都是一样的：两次for each把两个数组的内容添加到新数组里面。

如果你想使用值排序来取代关键字排序的话，PHP也能满足你的要求。你只要使用asort()函数来代替先前提到的ksort()函数就可以了。

Q3: PHP效率问题,上万条数据一次性取出?还是分开取出处理?

1、php使用的数据库一般是mysql，当数据量大于1000万时，为了效率最好还会进行分表存储。

2、个人建议还是拆分的比较好，一次查询虽然写法上可能会省代码，但是效率就很低下，因为即使加了索引，而在你联合查询 的时候语句写的不当就会导致索引不生效，从而效率就会下降。

3、1并不是所有索引对查询都有效，SQL是根据表中数据来进行查询优化的，当索引列有大量数据重复时，SQL查询可能不会去利用索引，如一表中有字段sex，male、female几乎各一半，那么即使在sex上建了索引也对查询效率起不了作用。

4、其实就跟分页获取数据类似，网上这种例子就比较多了，分段获取你可以把当前获取的最大的自增id存储在文件、数据库或者memcache中，下一段用大于这个做条件，然后遍历完再更新这个数就行了。

5、我的思路是这样：除了数据文本db.txt外，另建一个文本counter.txt用于记录访问的次数n。当第一个用访问时，程序先将counter.txt改为counter.lock，然后将里边n=n+1，再改回原来的名字。并开始访问相应的n*50条记录。

6、这里强烈建议读写分离。用不通的数据库实例去分别处理读写。再看看磁盘 IO 性能。看看队列数据。不行就上阵列。或者单表部署单个磁盘。或者读写在不同的磁盘进行。当然用缓存也可以。

关于php一次查询出百万数据和php实现简单的查询功能的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。