正文
php大数据读取,php大数据导出
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
PHP实现在有限内存中的大文件读取
方法一：通过yield的生成器实现有限内存中的大文件读取
方法二：使用SPL 库 提供的 SplFileObject 类
相关问答
Q1: PHP-大数据量怎么处理优化
大数据的话可以进行以下操作：
减少对数据库的读取，也就是减少调用数据库，
进行数据缓存，
利用数据库的自身优化技术，如索引等
精确查询条件，有利于提高查找速度
Q2: 怎么用php读取数据库内容并输出
读取内容一般使用select语句，输出的话方法比较多，具体的可以参考网上的教程，根据自己的实际需要来选用其中一种，一般都是把数据读取到一个数组参数里面，然后再输出这个数组内容。具体的可以参考下w3school的教程：
Q3: php如何读取CSV大文件并且将其导入数据库示例
思路：
读取csv文件，每读取一行数据，就插入数据库
示例
文件夹结构
/
file.csv //csv大文件，这里只模拟三行数据，不考虑运行效率（PS：csv文件格式很简单，文件一般较小，解析很快，运行效率的瓶颈主要在写入数据库操作）
index.php //php文件
file.csv
singi,20
lily,19
daming,23
index.php
/**
* 读取csv文件，每读取一行数据，就插入数据库
*/
//获取数据库实例
$dsn = 'mysql:dbname=test;host=127.0.0.1';
$user = 'root';
$password = '';
try {
$db = new PDO($dsn, $user, $password);
} catch (PDOException $e) {
echo 'Connection failed: ' . $e-getMessage();
}
//读取file.csv文件
if (($handle = fopen("file.csv", "r")) !== FALSE) {
while (($row = fgetcsv($handle, 1000, ",")) !== FALSE) {
//写入数据库
$sth = $db-prepare('insert into test set name=:name,age=:age');
$sth-bindParam(':name',$row[0],PDO::PARAM_STR,255);
$sth-bindParam(':age',$row[1],PDO::PARAM_INT);
$sth-execute();
}
fclose($handle);
}
数据表
CREATE TABLE `test` (
`id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
`name` VARCHAR(255) NULL DEFAULT '' COLLATE 'utf8mb4_bin',
`age` INT(10) NULL DEFAULT '0',
PRIMARY KEY (`id`)
)
COLLATE='utf8mb4_bin'
ENGINE=InnoDB;
运行结束后，数据库中会插入csv中的三行数据
Q4: 求关于php excel导入大数据到mysql的解决办法
下载 PHPExcel
require_once( './PHPExcel/IOFactory.php');
$filePath = 'D:/xxx.xlsx'; //excel 文件名
$objReader = new PHPExcel_Reader_Excel2007(); //具体查看（Documentation/Examples/Reader/exampleReader01.php）
$objPHPExcel = $objReader-load($filePath);
$sheetData = $objPHPExcel-getActiveSheet()-toArray(null,true,true,true);
$insql = 'insert into 表名(x,x,x) valeus';
//遍历数组 $sheetData
//如果有标题 先删除 unset($sheetData[1]);
foreach($sheetData as $k = $data){
$insql .= '('.$data['A'].','.$data['B'].','.$data['C'].'),';
//一次插入100条数据 减少数据库压力
if(($k+1 / 100) == 0){
$insql = rtrim($insql,',').';'; //将最后的逗号替换成分好
//插入数据库 并且重置 字符串 $insql
//或者保存到文件中 利用source 命令插入数据库
}
}
Q5: 为什么PHP不能从从mysql读取大数据
多大的数据叫大数据啊？只能说数据越大读得越慢，但只要给足够的内存、足够的时间，再大的数据也能读出来。
你所说的这个问题，应该不是PHP和mysql的问题，任何程序语言，任何数据库，在硬件限制和执行时间限制的情况下，数据无限增大，都终究会读不出来。
