php大数据教程,php处理大数据用什么方法

php怎么导出大量数据的Excel

微软的Excel设置单元格行数默认是6万行rows，相对的讲其实当我们超过1万行的时候已经是大数据的导出。

好比：有客户10000人，平均每人每天产生10条活动记录，要导出上周所有的客户活动记录： 10000*10*7=700000

估计看70万行的Excel这个人会疯掉的，我们的建议是分批次导出，按时间导出到不同的excel

下面是一个PHPExcel官方的Demo（已修改过）

复制代码

define('EOL', 'br /');

$objPHPExcel = new \app\extensions\PHPExcel\PHPExcel();

ini_set("memory_limit", "1024M"); // 设置php可使用内存

$cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;

if (!\PHPExcel_Settings::setCacheStorageMethod($cacheMethod)) {

die($cacheMethod . " 缓存方法不可用" . EOL);

}

echo date('H:i:s'), " 当前使用的缓存方法是： ", $cacheMethod, " 方式", EOL;

echo date('H:i:s'), " 开始设置文档属性", EOL;

$objPHPExcel-getProperties()-setCreator("Maarten Balliauw")

-setLastModifiedBy("Maarten Balliauw")

-setTitle("Office 2007 XLSX Test Document")

-setSubject("Office 2007 XLSX Test Document")

具体的还有很多写不下，我是在后盾人看的教学视频无意中学到的，正好解答给你希望能帮到你

相关问答

Q1: 新手入门php要学哪些内容呢？

1、WEB基础

要知道网站是什么东西，所使用的协议是怎么工作的，怎样把网站放在服务器上。

2、HTMLphp

HTMLphp是嵌入在HTML的语言，所以HTML是必须的。可以用HTML写出简单的静态的页面，放在本机的服务器上看看效果。

3、DIV+CSS

能够用DIV+CSS布局做出漂亮的精美静态网页。

4、php基础

学习php基础，如php语法，php变量，php流程控制，php函数，php数组应用，php字符串处理，php常用模块，php文件处理，php动态图像处理，会话控制等，就可以把静态页面变成动态的。这个阶段比较枯燥，主要是记忆，必须能够熟练应用。

5、MySQL

网站往往包含大量的信息，这些信息不可能都放在程序(php文件)中，需要MySQL来储存大量的数据信息。

6、Javascript

掌握了以上内容就可以搭建一个php基础网站，但是还需要靠Javascript来完成网站的特效和信息验证等。

7、php高级

作为一个可以上线运营的全功能网站，还要继续学习php高级知识，如php面向对象，数据抽象层PDO，MEMCACHE，高级SESSION，php的设计模式，MVC，smarty模板，主流框架的解读等内容，这个阶段需要多读优质的开源代码，多写代码。

8、Linux

正如大家所熟知的php较佳的搭配是LAMP(Linux+Apache+MySQL+Php)或LNMP(Linux+Nginx+MySQL+Php)，那么显然在Linux系统下的php网站比在Windows下兼容性好，基于此我们需要知道在Linux下搭建php环境的方法以及Linux的日常管理命令，以便我们网站的日常管理运营。

9、项目相关

这个阶段首先需要了解项目开发流程，需求分析，程序设计说明书，数据库设计说明书，编码规范，大流量/大数据架构，MYSQL深度优化，全文索引等内容。

目前为止学到这个阶段，已经可以算是php小牛了，要继续向php大牛进发就需要参与开发大型网站项目，以此练手。北大青鸟认为参与大项目开发，实践为主。通过这阶段的学习就可以自主做企业网站、论坛、网页游戏等。

Q2: PHP如何解决网站的大数据大流量与高并发

使用缓存，比如memcache,redis,因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。

2.增加带宽和机器性能，1M的带宽同时处理的流量肯定有限，所以在资源允许的情况下，大带宽，多核cpu,高内存是一个解决方案。

3.分布式，让多个访问分到不同的机器上去处理，每个机器处理的请求就相对减少了。

简单说些常用技术，负载均衡，限流，加速器等

Q3: PHP-大数据量怎么处理优化

大数据的话可以进行以下操作：

减少对数据库的读取，也就是减少调用数据库，

进行数据缓存，

利用数据库的自身优化技术，如索引等

精确查询条件，有利于提高查找速度

Q4: 如何用php导出导入大数据库

在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import)，但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制，导致phpMyAdmin无法导入大数据。很多时候都是由于文件过大，从本地浏览上传导入，容易中断失败，有没有更好的方法呢？

方法：

在phpMyAdmin的目录下，找到根目录的config.inc.php文件，

打开config.inc.php文件，查找$cfg['UploadDir']，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。

在phpMyAdmin目录下，建立以ImportSQLFile命名的文件夹，

把我们需要导入的数据文件，放到ImportSQLFile文件夹下面，非常简单，

登入phpMyAdmin，选择需要导入的数据，点击导航条上面的“导入”按钮，

选中“从网站服务器上传文件夹ImportSQLFile/中选择：”选项，并需要导入的数据文件，

最后点击“执行”，即可导入成功。

注意事项

如果在config.inc.php文件，没有找到$cfg['UploadDir']，可以自己在文件中添加上去即可。

Q5: php 怎么解决 大数据量 插入数据库

ini_set('max_execution_time','0');

$pdo

=

new

PDO("mysql:host=localhost;dbname=test","root","123456");

$sql

=

"insert

into

test(name,age,state,created_time)

values";

for($i=0;

$i100000;

$i++){

$sql

.="('zhangsan',21,1,'2015-09-17')";

}

$sql

=

substr($sql,0,strlen($sql)-1);

var_dump($sql);

if($pdo

-

exec($sql)){

echo

"插入成功！";

echo

$pdo

-

lastinsertid();

}

试试吧。10万条1分钟多，我觉得还行