php大数据量导入 php yield 处理大数据

如何用php导出导入大数据库

在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import)，但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制，导致phpMyAdmin无法导入大数据。很多时候都是由于文件过大，从本地浏览上传导入，容易中断失败，有没有更好的方法呢？

方法：

在phpMyAdmin的目录下，找到根目录的config.inc.php文件，

打开config.inc.php文件，查找$cfg['UploadDir']，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。

在phpMyAdmin目录下，建立以ImportSQLFile命名的文件夹，

把我们需要导入的数据文件，放到ImportSQLFile文件夹下面，非常简单，

登入phpMyAdmin，选择需要导入的数据，点击导航条上面的“导入”按钮，

选中“从网站服务器上传文件夹ImportSQLFile/中选择：”选项，并需要导入的数据文件，

最后点击“执行”，即可导入成功。

注意事项

如果在config.inc.php文件，没有找到$cfg['UploadDir']，可以自己在文件中添加上去即可。

相关问答

Q1: php+Mysql 大数据导入怎样提高效率

优化SQL插入语句；

比如循环一条一条插入php大数据量导入，改成链接多个值进行插入。

将php大数据量导入：

foreach($re as $it){

$sql="insert into table (id,name) values(".$it['id'].","."$it['name'].")";

mysql_query($sql);

}

改为：

$sql="insert into table (id,name) values";

foreach($re as $it){

$str= "'".$it['id']."','".$it['name']."'";

}

$sql .= "(".$str."),";

$sql2 = substr($sql,0,-1);

mysql_query($sql);

打开mysql的配置文件php大数据量导入，my.ini文件php大数据量导入，并找到：max_allowed_packet项；

将值修改大一点，具体根据自己需要修改。比如这里修改为：1G。

重启mysql服务；

5

如果运行页面提示内存溢出，可将值设大一点。

Allowed memory size of 134217728 bytes exhausted (tried to allocate 132907287 bytes)

步骤阅读

6

这样，面对千万数据导入的时候，比原来那种方法至少快好多倍。

Q2: php 怎么解决 大数据量 插入数据库

ini_set('max_execution_time','0');

$pdo

=

new

PDO("mysql:host=localhost;dbname=test","root","123456");

$sql

=

"insert

into

test(name,age,state,created_time)

values";

for($i=0;

$i100000;

$i++){

$sql

.="('zhangsan',21,1,'2015-09-17')";

}

$sql

=

substr($sql,0,strlen($sql)-1);

var_dump($sql);

if($pdo

-

exec($sql)){

echo

"插入成功php大数据量导入！";

echo

$pdo

-

lastinsertid();

}

试试吧。10万条1分钟多php大数据量导入，php大数据量导入我觉得还行

php大数据量导入的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php yield 处理大数据、php大数据量导入的信息别忘了在本站进行查找喔。