正文
php到处大量数据,php处理大数据用什么方法
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
如何用php导出导入大数据库
在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import)，但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制，导致phpMyAdmin无法导入大数据。很多时候都是由于文件过大，从本地浏览上传导入，容易中断失败，有没有更好的方法呢？
方法：
在phpMyAdmin的目录下，找到根目录的config.inc.php文件，
打开config.inc.php文件，查找$cfg['UploadDir']，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。
在phpMyAdmin目录下，建立以ImportSQLFile命名的文件夹，
把我们需要导入的数据文件，放到ImportSQLFile文件夹下面，非常简单，
登入phpMyAdmin，选择需要导入的数据，点击导航条上面的“导入”按钮，
选中“从网站服务器上传文件夹ImportSQLFile/中选择：”选项，并需要导入的数据文件，
最后点击“执行”，即可导入成功。
注意事项
如果在config.inc.php文件，没有找到$cfg['UploadDir']，可以自己在文件中添加上去即可。
相关问答
Q1: php怎么导出大量数据的Excel
1 $fp = fopen('php://output', 'a');
2
3 // 输出Excel列名信息
4 $head = array("邮件");
5 foreach ($head as $i = $v) {
6 // CSV的Excel支持GBK编码，一定要转换，否则乱码
7 $head[$i] = iconv('utf-8', 'gbk', $v);
8 }
9
10 // 将数据通过fputcsv写到文件句柄
11 fputcsv($fp, $head);
12
13 // 计数器
14 $cnt = 0;
15 // 每隔$limit行，刷新一下输出buffer，不要太大，也不要太小
16 $limit = 100000;
17
18 // 逐行取出数据，不浪费内存
19 $count = count($email);
20
21 for($t=0;$t$count;$t++) {
22
23 $cnt ++;
24 if ($limit == $cnt) { //刷新一下输出buffer，防止由于数据过多造成问题
25 ob_flush();
26 flush();
27 $cnt = 0;
28 }
29 $row[] = $email[$t];
30 foreach ($row as $i = $v) {
31 $row[$i] = iconv('utf-8', 'gbk', $v);
32 }
33 fputcsv($fp, $row);
34 unset($row);
35 }
Q2: 在PHP中怎么解决大量数据处理的问题
mysql_query函数查询的方式是查询出全部结果后缓存到内存中，这样就会出现超内存的现象，使用另外一个函数mysql_unbuffered_query可以解决这个问题，mysql_unbuffered_query不会缓存结果集，而是查询出来数据后立马对结果集进行操作，也就是便查询边返回，这样就不会出现超出内存的现象，但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 发送一条新的 SQL 查询之前，必须提取掉所有未缓存的 SQL 查询所产生的结果行。例如：
使用缓存结果集的代码：
function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用缓存结果集方式
// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo-prepare('select * from test');
$sth-execute();
echo '最初占用内存大小：' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i 10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大小：' . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e-getMessage();
}
}
执行时将会报超出内存的错误：
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56
Call Stack:
0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85
0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56
将上面代码中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集，这时运行该函数的结果如下：
最初占用内存大小：144808
Array
(
[id] = 1
[a] = v
[b] = w
[c] = i
)
占用内存大小：145544
Array
(
[id] = 2
[a] = b
[b] = l
[c] = q
)
占用内存大小：145544
Array
(
[id] = 3
[a] = m
[b] = p
[c] = h
)
占用内存大小：145536
Array
(
[id] = 4
[a] = j
[b] = i
[c] = b
)
占用内存大小：145536
可以看到，这时返回一条数据内存占用非常的小，也就700多字节，这样就不会出现超出内存的错误了。
Q3: php如何导出数据
php导出数据有两种方式，一种是通过封装好的phpexcel导出，一种是通过table导出数据，指定header就可以导出数据。
上面是导出到excel中的方法，当然你也可以导出数据直接到数据库，或者你也可以到处数据到文件中，这个主要看你导出数据的格式要求。
看你截图显示的是数组格式，可以通过循环遍历然后导入到响应的文件中。
