分批处理数据php php分层

Php如何分批处理数据

使用for循环

定义变量$i，配合select * from table where ………… limit $i,100

这样就可以了

我之前就做过，但因为换了工作，代码在之前的公司，否则就可以让你参考下了

另外，我觉得100太少了，最起码得改成1000才行

相关问答

Q1: thinkphp008. 数据库的数据查询

008. 数据库的数据查询

本节课我们来了解一下数据库的数据查询方式，单数据、数据集和其它查询。

一.单数据查询

1. Db::table()中table必须指定完整数据表(包括前缀);

2. 如果希望只查询一条数据，可以使用find()方法，需指定where条件;

Db::table('tp_user')-where('id', 27)-find()

3. Db::getLastSql()方法，可以得到最近一条SQL查询的原生语句;

SELECT * FROM `tp_user` LIMIT 1

4. 没有查询到任何值，则返回null;

5. 使用findOrFail()方法同样可以查询一条数据，在没有数据时抛出一个异常;

Db::table('tp_user')-where('id', 1)-findOrFail()

6. 使用findOrEmpty()方法也可以查询一条数据，但在没有数据时返回一个空数组;

7. Db::table('tp_user')-where('id', 1)-findOrEmpty();

二.数据集查询

1. 想要获取多列数据，可以使用select()方法;

Db::table('tp_user')-select(); SELECT * FROM `tp_user`

2. 多列数据在查询不到任何数据时返回空数组，使用selectOrFail()抛出异常; Db::table('tp_user')-where('id', 1)-selectOrFail();

3. 在select()方法后再使用toArray()方法，可以将数据集对象转化为数组;

4. 当在数据库配置文件中设置了前缀，那么我们可以使用name()方法忽略前缀; Db::name('user')-select();

三.其它查询

1. 通过value()方法，可以查询指定字段的值(单个)，没有数据返回null;

Db::name('user')-where('id', 27)-value('username');

$user = Db::table('tp_user')-select()-toArray(); dump($user);

2. 通过colunm()方法，可以查询指定列的值(多个)，没有数据返回空数组; Db::name('user')-column('username');

3. 可以指定id作为列值的索引;

4. 如果处理的数据量巨大，成百上千那种，一次性读取有可能会导致内存开销过大;

5. 为了避免内存处理太多数据出错，可以使用chunk()方法分批处理数据;

6. 比如，每次只处理100条，处理完毕后，再读取100条继续处理;

7. 可以利用游标查询功能，可以大幅度减少海量数据的内存开销，它利用了PHP生成器特性。每次查询只读一行，然后再读取时，自动定位到下一行继续读取;

Db::name('user')-column('username', 'id');

Db::table('tp_user')-chunk(3, function($users) { foreach ($users as $user) {

dump($user);

}

echo 1; });

$cursor = Db::table('tp_user')-cursor(); foreach($cursor as $user){

dump($user);

}

Q2: php处理大量数据时，运行到一定时间就中断了，请问如何解决

php处理数据时会有一个等待时间，就是所说的超时时间，而且如果使用mysql的话，它也有一个超时时间，运行一串代码时间如果超过配置文件的时间，会被中断不运行。第一种你可以修改php配置文件timeout的运行时间，第二你可以分批处理大量数据，注意是分批处理，就OK了。

Q3: php 批量数据插入数据表

if ($strleng100){

    //如果大于100条就每次写入100,休息1秒,然后继续写,直到写完为止

    $write_count = floor($strleng/100);

    while ($write_count  0){

        for ($i=0;$i100;$i++){

            echo "INSERT INTO tbl_name (a,b,c) VALUES(1,2,3)";//写100次就休息

        }

        //echo "INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);";这样可以一次插入多条数据，效率更高

        //参考

        $write_count -=1 ;

        sleep(1);

        echo '休息1秒';

    }

}

分批处理数据php的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php分层、分批处理数据php的信息别忘了在本站进行查找喔。