php大数据量导出的问题 php做大数据

phpmysql导出千万级csv最快方法

1、首先创建要插入100万数据的表格，随机产生数字。

2、其次创建存储过程，并向表中插入数据，调用存储过程进行插入数据，插入300万条数据，且分几次插入。

3、最后导出数据到csv，使用函数selectxxxintooutfile，其中outfile后面的路径可以是Windows或macOS或者Linux。

相关问答

Q1: 如何用php导出导入大数据库

在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import)php大数据量导出的问题，但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制，导致phpMyAdmin无法导入大数据。很多时候都是由于文件过大，从本地浏览上传导入，容易中断失败，有没有更好的方法呢php大数据量导出的问题？

方法php大数据量导出的问题：

在phpMyAdmin的目录下，找到根目录的config.inc.php文件，

打开config.inc.php文件，查找$cfg['UploadDir']，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。

在phpMyAdmin目录下，建立以ImportSQLFile命名的文件夹，

把php大数据量导出的问题我们需要导入的数据文件，放到ImportSQLFile文件夹下面，非常简单，

登入phpMyAdmin，选择需要导入的数据，点击导航条上面的“导入”按钮，

选中“从网站服务器上传文件夹ImportSQLFile/中选择：”选项，并需要导入的数据文件，

最后点击“执行”，即可导入成功。

注意事项

如果在config.inc.php文件，没有找到$cfg['UploadDir']，可以自己在文件中添加上去即可。

Q2: phpexcel导出大量数据时，页面出现503错误怎么解决

一、安装libzookeeper

代码如下 复制代码

cd /usr/local/src/

wget http //mirror bit edu cn/apache//zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz

tar -xf zookeeper-3.4.5.tar.gz

cd zookeeper-3.4.5/src/c

./configure –prefix=/usr/local/zookeeper/zookeeper-3.4.5/

make make install

二、安装php zookeeper扩展

代码如下 复制代码

cd /usr/local/src/

wget ‘http //pecl php net/get/zookeeper-0.2.2.tgz’

tar zxvf zookeeper-0.2.2.tgz

cd zookeeper-0.2.2

phpize

./configure –with-php-config=/usr/local/php/bin/php-config –with-libzookeeper-dir=/usr/local/zookeeper/zookeeper-3.4.5/

make make install

vim /usr/local/php/etc/php.ini

查找：extension_dir=”/usr/local/php/lib/php/extensions/no-debug-non-zts-20100525/”

添加：extension=zookeeper.so

三注意：php-config libzookeeper-di路径一定要正确

Q3: PHP导出100万数据到excel

php导出数据excel有专门的库，当导出少量数据的时候速度很快，但是当数据量大的时候就会存在服务器内存不够之类的。

所以在导出大量数据的时候就应该分页查询数据，避免服务器宕机。正好PHP提供了fputcsv函数可以将数据写入到csv文件中。

这样我们就可以使用PHP对数据进行分页查询，再写入到csv文件中。

Q4: php怎么导出大量数据的Excel

$fp = fopen('php://output', 'a');

// 输出Excel列名信息

$head = array("电子邮件");

foreach ($head as $i = $v) {

// CSVphp大数据量导出的问题的Excel支持GBK编码php大数据量导出的问题，一定要转换php大数据量导出的问题，否则乱码

$head[$i] = iconv('utf-8', 'gbk', $v);

}

// 将数据通过fputcsv写到文件句柄

fputcsv($fp, $head);

// 计数器

$cnt = 0;

// 每隔$limit行，刷新一下输出buffer，不要太大，也不要太小

$limit = 100000;

// 逐行取出数据，不浪费内存

$count = count($email);

for($t=0;$t$count;$t++) {

$cnt ++;

if ($limit == $cnt) { //刷新一下输出buffer，防止由于数据过多造成问题

ob_flush();

flush();

$cnt = 0;

}

$row[] = $email[$t];

foreach ($row as $i = $v) {

$row[$i] = iconv('utf-8', 'gbk', $v);

}

fputcsv($fp, $row);

unset($row);

}

Q5: PHPExcel怎么具体实现大数据量的导出

不带格式的：

1、 直接写csv文件。

2、COM调用adodb操作excel读取

想要带格式的标准xls文件：

请用COM调用adodb读取php大数据量导出的问题，然后调用excel.application格式化。

其php大数据量导出的问题他的方法就是扯淡php大数据量导出的问题，别给php大数据量导出的问题我说

1、phpexcel，那资源消耗只适合玩单机，兼容性也不够!

2、pear的可以带格式输出，但兼容性很差，经常打不开

3、xml方式，制作模板 比较费时。

总结：不带格式，就用csv最简单

想带格式就用adodb+excel.application来操作，（注意：excel 格式化很慢，adodb导出很快，带格式写excel就是个悲剧php大数据量导出的问题！）

php大数据量导出的问题的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php做大数据、php大数据量导出的问题的信息别忘了在本站进行查找喔。