大数据脚本PHP 大数据脚本规范

如何用php导出导入大数据库

在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import)，但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制，导致phpMyAdmin无法导入大数据。很多时候都是由于文件过大，从本地浏览上传导入，容易中断失败，有没有更好的方法呢？

方法：

在phpMyAdmin的目录下，找到根目录的config.inc.php文件，

打开config.inc.php文件，查找$cfg['UploadDir']，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。

在phpMyAdmin目录下，建立以ImportSQLFile命名的文件夹，

把我们需要导入的数据文件，放到ImportSQLFile文件夹下面，非常简单，

登入phpMyAdmin，选择需要导入的数据，点击导航条上面的“导入”按钮，

选中“从网站服务器上传文件夹ImportSQLFile/中选择：”选项，并需要导入的数据文件，

最后点击“执行”，即可导入成功。

注意事项

如果在config.inc.php文件，没有找到$cfg['UploadDir']，可以自己在文件中添加上去即可。

相关问答

Q1: 物联网，云计算，大数据能用php开发吗

物联网，云计算，大数据能用php开发

PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。用PHP做出的动态页面与其他的编程语言相比，PHP是将程序嵌入到HTML（标准通用标记语言下的一个应用）文档中去执行，执行效率比完全生成HTML标记的CGI要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。

Q2: 实时生成并下载大数据量的EXCEL文件，用PHP如何实现？

对于任何一个网站肯定是少不了下载功能，常见的下载功能有图片、视频、Excel表格，如果文件比较小的话，那么不会遇到任何的问题，但是当文件信息而超过了PHP的最大内存，那么在这个时候它就会有的内存溢出的问题。

那么它们是因为什么而发生的？对于这个过程的原理才是我们应该真正要去弄明白的事情

下载大数据量的EXCEL文件为何要报错？

PHP在下载大Excel表格的时候，那么首先它是需要去把MySQL的数据从硬盘上面读取到内存，但读取它是一次性载入到我们的内存，如果说它一次性载入的数据量远远大于最大内存，然后再来执行浏览器的业务下载。那么这个时候它就会发生我们这个内存溢出。

就比如：说我们现在有100M的数据量，但是我们PHP内存最大只有64M，那么这个它肯定是装不了的，我们可以把那个内存比喻为一个水杯，这个水杯的容量比喻为内存，现在杯子最大容量为64L。你要存放100L。肯定放不下

大事化小，小事化了。拆分成段

从上面可以看到文件下载，它是分为两步，首先是载入内存然后执行浏览器的输出下载，那么既然大型文件一次性载入不了，那可以采用“大事化小，小事化了”思路，我们可以实现边写边下载，也就是分批次的读取与写入。

因为用户的话，只要最终拿到这个文件就可以，对于浏览器的下载原理不需要关心。只需要给到文件下载提示给用户即可，然后后端在实时的分批次的写入到要下载的文件当中。

实现思路步骤：

1、一设置浏览器下载Excel需要的Header

2、打开php://output流，并设置写入文件句柄。

注：(php://output,是一个可写的输出流，允许程序像操作文件一样将输出写入到输出流中，PHP会把输出流中的内容发送给web服务器并返回给发起请求的浏览器)

3、获取数据库所有数据量，并设置每次查询的条数，通过这两个值计算分批查询的次数

4、基于分批查询的次数循环查询数据库，然后写入到文件中，同时清除本次操作变量内存，刷新缓冲到浏览器，让浏览器的文件始终实时保持到最新的大小

注：刷新用ob_flush、flush()

PHP的I/O流

在这里我们用到了PHP的一个IO的输入输出，也就是我们常用的

php://inputphp://output。

php://input

php://input可以读取原始的POST数据。相较于$form-data”.

注：p

php://output是一个只写的数据流，允许你以print和echo一样的方式写入到输出缓冲区。

综上：实现思维与原理很重要如有感悟，欢迎在线咨询

Q3: php采集大数据的方案

1、建议你读写数据和下载图片分开，各用不同的进程完成。

比如说，取数据用get-data.php，下载图片用get-image.php。

2、多进程的话，php可以简单的用pcntl_fork()。这样可以并发多个子进程。

但是我不建议你用fork，我建议你安装一个gearman worker。这样你要并发几个，就启几个worker，写代码简单，根本不用在代码里考虑thread啊，process等等。

3、综上，解决方案这样：

（1）安装gearman worker。

（2）写一个get-data.php，在crontab里设置它每5分钟执行一次，只负责读数据，然后把读回来的数据一条一条的扔到 gearman worker的队列里；

然后再写一个处理数据的脚本作为worker，例如叫process-data.php，这个脚本常驻内存。它作为worker从geraman 队列里读出一条一条的数据，然后跟你的数据库老数据比较，进行你的业务逻辑。如果你要10个并发，那就启动10个process-data.php好了。处理完后，如果图片地址有变动需要下载图片，就把图片地址扔到 gearman worker的另一个队列里。

（3）再写一个download-data.php，作为下载图片的worker，同样，你启动10个20个并发随便你。这个进程也常驻内存运行，从gearman worker的图片数据队列里取数据出来，下载图片

4、常驻进程的话，就是在代码里写个while(true)死循环，让它一直运行好了。如果怕内存泄露啥的，你可以每循环10万次退出一下。然后在crontab里设置，每分钟检查一下进程有没有启动，比如说这样启动3个process-data worker进程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了没有

Q4: php 调用 大数据 显示不全问题。。

5万条大数据脚本PHP？

恐怖大数据脚本PHP，php执行是有一个时间大数据脚本PHP的，不是无止境的执行，超时后，就会停止执行。所以返回有多有多有少了！

解决方法大数据脚本PHP：

1、有个函数是设定php脚本执行超时时间的，加在文件的头部，你设定多久就多久，具体哪个函数，忘记了，自己百度一下

2、修改php,.ini里面的配置，具体也忘记了，自己百度一下

不过不建议你一个页面返回这么多数据，就算能全部返回，也网页打开速度也会很慢啊，搞成分页显示，不是很好吗！@

Q5: php处理大数据量的时候,如图片 有什么致命的缺陷?面试问题

效率问题。因为php是脚本解释语言，其特点在于易上手和部署，但在处理需要大量cpu的操作时（图片就是）就力不从心了，如果写成php扩展的话效率会提升，但还是没直接执行C/C++的程序快

不好实现多线程。这个就不用多说了，和语言定位有关，虽然可以异步调用，但毕竟不是强项。

大数据脚本PHP的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于大数据脚本规范、大数据脚本PHP的信息别忘了在本站进行查找喔。