php大数据服务平台 php 大数据框架

php采集大数据的方案

1、建议你读写数据和下载图片分开，各用不同的进程完成。

比如说，取数据用get-data.php，下载图片用get-image.php。

2、多进程的话，php可以简单的用pcntl_fork()。这样可以并发多个子进程。

但是我不建议你用fork，我建议你安装一个gearman worker。这样你要并发几个，就启几个worker，写代码简单，根本不用在代码里考虑thread啊，process等等。

3、综上，解决方案这样：

（1）安装gearman worker。

（2）写一个get-data.php，在crontab里设置它每5分钟执行一次，只负责读数据，然后把读回来的数据一条一条的扔到 gearman worker的队列里；

然后再写一个处理数据的脚本作为worker，例如叫process-data.php，这个脚本常驻内存。它作为worker从geraman 队列里读出一条一条的数据，然后跟你的数据库老数据比较，进行你的业务逻辑。如果你要10个并发，那就启动10个process-data.php好了。处理完后，如果图片地址有变动需要下载图片，就把图片地址扔到 gearman worker的另一个队列里。

（3）再写一个download-data.php，作为下载图片的worker，同样，你启动10个20个并发随便你。这个进程也常驻内存运行，从gearman worker的图片数据队列里取数据出来，下载图片

4、常驻进程的话，就是在代码里写个while(true)死循环，让它一直运行好了。如果怕内存泄露啥的，你可以每循环10万次退出一下。然后在crontab里设置，每分钟检查一下进程有没有启动，比如说这样启动3个process-data worker进程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了没有

相关问答

Q1: 大数据分析平台/数据服务平台有那些?

大数据分析平台我们可以到思迈特软件Smartbi了解一下。思迈特软件Smartbi大数据分析平台拥有全面php大数据服务平台的需求满足能力php大数据服务平台，无论你是哪种用户，在BI的哪个阶段流程，有什么需求场景都能得到满足。

全阶段php大数据服务平台：融合传统BI、自助BI、智能BI，满足BI定义所有阶段的需求。

全流程：提供数据连接、数据准备、数据分析、数据应用等全流程功能

全场景：提供复杂报表、数据可视化、自助探索分析、机器学习建模、预测分析、自然语言分析等全需求场景。

全用户：为数据角色提供数据处理、数据准备等功能，为分析角色提供数据分析相关功能，为管理决策人员提供资源发布、管理协同、社交协同、系统监控、权限管理等功能，实现“人尽其才”！

数据分析有没有用，来试试Smartbi就知道了,Smartbi产品功能设计全面，涵盖数据提取、数据管理、数据分析、数据共享四个环节，帮助客户从数据的角度描述业务现状，分析业务原因，预测业务趋势，推动业务变革。

Q2: 大数据服务平台是什么?

大数据服务平台则是一个集数据接入、数据处理、数据存储、查询检索、分析挖掘等、应用接口等为一体php大数据服务平台的平台php大数据服务平台，然后通过在线的方式来提供数据资源、数据能力等来驱动业务发展的服务。

计算机俗称电脑php大数据服务平台，是一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。由硬件系统和软件系统所组成，没有安装任何软件的计算机称为裸机。

可分为超级计算机、工业控制计算机、网络计算机、个人计算机、嵌入式计算机五类，较先进的计算机有生物计算机、光子计算机、量子计算机、神经网络计算机。蛋白质计算机等。

Q3: 物联网，云计算，大数据能用php开发吗

物联网php大数据服务平台，云计算，大数据能用php开发

PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收php大数据服务平台了C语言、Java和Perlphp大数据服务平台的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。用PHP做出的动态页面与其php大数据服务平台他的编程语言相比，PHP是将程序嵌入到HTML（标准通用标记语言下的一个应用）文档中去执行，执行效率比完全生成HTML标记的CGI要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。

Q4: 大数据基础平台有哪些？

国内大数据平台有：

1、星环Transwarp。星环科技是一个以hadoop生态系统为基础的大型数据平台公司，被Gartner魔力象限列入名单过，它的潜力不容忽视，它在技术上对hadoop不稳定的部分进行了优化，功能得到了改进，提供了hadoop的企业大数据引擎等。

2、TalkingData。TalkingData属于独立的第三方品牌。它的产品与之服务涵盖了移动应用数据统计、公共数据查询、综合数据管理等多款极具针对性的产品及服务。在银行、互联网、电商行业有广泛的数据服务应用。

3、友盟+。友盟+是第一个第三方的全域大数据服务供应商，可以全面覆盖PC机、无线路由器等多种设备。为企业提供基础统计、操作分析、数据决策等全业务链的数据应用解决方案，帮助企业进行数据化操作和管理。

4、网易猛犸。网易猛犸大数据平台提供了海量应用开发的一站式数据管理平台，其中还包含了大数据开发套件和hadoop发布。该套件主要包括数据开发、任务操作、自助分析、以及多租户管理等。

5、GrowingIO。GrowingIO是一种基于因特网用户行为的数据分析产品，具有无埋点数据采集技术，可通过行为数据，如网页或APP的浏览轨迹、点击记录、鼠标滑动轨迹等行为数据，对用户行为数据，进行实时的分析，用于优化产品体验，实现精益化操作。

6、神策数据。神策数据原理也与GrowingIO类似。但是它在技术上提供开放的查询API和完整的SQL接口，同时与MapReduce和Spark等计算引擎无缝融合，随时以最高效的方式来访问干净、规范的数据。

关于php大数据服务平台和php 大数据框架的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。