php数据采集器 php 采集

php 百度 知道数据采集

问题其实不难，自己都能写。给你几个思路吧：

1.在百度知道中，输入linux，然后会出现列表。复制浏览器地址栏内容。

然后翻页，在复制地址栏内容，看看有什么不同，不同之处，就是你要循环分页的i值。

当然这个是笨方法。

2.使用php的file或者file_get_contents函数，获取链接URL的内容。

3.通过php正则表达式，获取你需要的3个字段内容。

4.写入数据库。

需要注意的是，百度知道有可能做了防抓取的功能，你刚一抓几个页面，可能会被禁止。

建议也就抓10页数据。

其实不难，你肯定写的出来。 还有，网上应该有很多抓取工具，你找找看，然后将抓下来的数据

在做分析。写入数据库。

相关问答

Q1: php curl 大量数据采集

这个需要配合jsphp数据采集器，打开一个html页面php数据采集器，首先js用ajax请求页面php数据采集器，返回第一个页面信息确定处理完毕（ajax有强制同步功能），ajax再访问第二个页面。（或者根据服务器状况，你可以同时提交几个URL，跑几个相同的页面）

参数可以由js产生并传递url，php后台页面根据URL抓页面。然后ajax通过php，在数据库或者是哪里设一个标量，标明检测到哪里。由于前台的html页面执行多少时候都没问题，这样php的内存限制和执行时间限制就解决php数据采集器了。

因为不会浪费大量的资源用一个页面来跑一个瞬间500次的for循环了。（你的500次for循环死了原因可能是获取的数据太多，大过了php限制的内存）

不过印象中curl好像也有强制同步的选项，就是等待一个抓取后再执行下一步。但是这个500次都是用一个页面线程处理，也就是说肯定会远远大于30秒的默认执行时间。

Q2: ·火车头伪原创插件api接口代码怎么用

伪原创插件api目前用过就小发猫AI+的靠谱，一个基于人工智能的伪原创软件，生成的内容原创度比较高，而且有使用教程

1、修改火车头的PHP环境

由于火车头采集器软件内置的PHP环境有问题，在使用PHP插件之前需要先修改火车头的PHP环境。修改的方法很简单，打开火车头网站采集软件的安装目录“System/PHP”，找到php.ini文件打开，并找到如下代码。

找到 php_curl.dll 把前面的分号去掉改成：

修改前：

;extension=php_curl.dll

修改后：

extension=php_curl.dll

也就是将最前面的分号“;”删除并保存即可，这样火车头数据采集器就可以正常运行这个PHP仿写插件了。

2、插件要统一放到火车头插件目录

例如我本机是：D:\火车采集器V9\Plugins

问：这个插件主要功能是什么？

回答：火车头是一个采集器。采集后，如果开了插件，会把采集到的内容通过插件处理后再保存，我们的插件是伪原创，所以采集的内容会伪原创后保存。

3、调试方法

首先按原来的方式，先确保采集规则能正常运行。

然后，在正常运行的基础上，选择伪原创插件。

Q3: 怎么用php采集网站数据

简单的分了几个步骤：

1、确定采集目标

2、获取目标远程页面内容（curl、file_get_contents）

3、分析页面html源码，正则匹配你需要的内容（preg_match、preg_match_all），这一步最为重要，不同页面正则匹配规则不一样

4、入库

Q4: PHP怎么在多IP服务器中切换IP采集数据

PHP怎么在多IP服务器中切换IP采集数据

网友分享于：2015-08-26 浏览：121次

PHP如何在多IP服务器中切换IP采集数据？

在PHP 中使用CURL 采集某URL数据，由于服务器拥有有多个IP，所以想在CURL中切换不同的IP来采集以防止被封，但是发现curl_setopt($ci, CURLOPT_PROXY, '1.1.1.1'); 这种不可用

请问有什么解决办法，或者不使用curl 用snoopy等也可以，请大家指教

40

分享到：

------解决方案--------------------

用fsockopen

function get_from_website($ip, $domain)

{

$content = '';

$fp = fsockopen($ip, 80);

fputs($fp, 'GET / HTTP/1.0\r\n');

fputs($fp, 'Host; '.$domain.'\r\n\r\n');

while(!foef($fp)) {

$content += fgets($fp, 1024);

}

fclose($fp);

return $content;

}

get_from_website('1.1.1.1', 'example.com');

get_from_website('1.1.1.2', 'example.com');

get_from_website('1.1.1.3', 'example.com');

get_from_website('1.1.1.4', 'example.com');

关于php数据采集器和php 采集的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。