
正文
php自动采集网页数据,php自动采集如何实现
提示:扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
用php采集网页,网页中不同选项代码不同,怎么采集?
使用file_get_contents获得网页源代码。这个方法最常用,只需要两行代码即可,非常简单方便。使用fopen获得网页源代码。这个方法用的人也不少,不过代码有点多。使用curl获得网页源代码。
本方法类似于submit(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回登陆后网页中的文字内容。
你如果是单个页面的话不需要正规表达式,只要找到自己需要的部分看看前面和后面有什么唯一性的标识,截取出来就可以了。
php抓取网页源代码的方法 可以使用file_get_content函数获取源代码。你只需要把网站传入这个功能就可以了。拿到手之后就是一串。你需要格式化代码。
content = file_get_content($url);//抓取网页全部内容 preg_match( string pattern, string subject [, array matches ] );//正则获取自己需要的内容 入库~完事了。。
相关问答
Q1: php如何采集文章
preg_match( string pattern, string subject [, array matches ] );//正则获取自己需要的内容 入库~完事了。。
你写一个php的程序,接收你的tags,输出你的内容。然后用javascript给这个php页发出一个GET或者POST的xml http request,然后等这个php页返回给你结果之后显示在那儿就行了。
这种问题,放弃用正则吧,要真正完备的你可能得写一篇文章那样长。但 html 已经是结构化的了,找个 html 解析库就行了,我刚用 firebug 粗略的看了下,正文是在 id 为 page-content 的 div 里。
首先我们需要新建一个采集任务,并单击【起始网址】右侧的添加按钮。系统弹出【添加开始采集地址】对话框,该对话框给出五中采集分时,一般我们应用的比较多的为【单条网址】、【批量/多页】、【RSS地址】这三种方式。
表单用get方式传递,显示页面用$_GET[]来接收传递值,即时传递是中文也一样。
Q2: PHP采集代码实例
使用file_get_contents获得网页源代码。这个方法最常用,只需要两行代码即可,非常简单方便。使用fopen获得网页源代码。这个方法用的人也不少,不过代码有点多。使用curl获得网页源代码。
采集就是把目标网站的内容通过php代码存储到自己的网站数据库中,从而把别人的变成自己的。这样就可以省去很多自己发布信息的时间,非常快速。
多进程的话,php可以简单的用pcntl_fork()。这样可以并发多个子进程。但是我不建议你用fork,我建议你安装一个gearman worker。
据测试:你的代码里:sourceStr=file_get_contents(http://baidu.lehecai.com/lottery/draw/view/557);这个是获取不到网页内容,据判断,估计是服务器端对访问进行了限制(比如User-Agent)。
用正在表达式很容易做到,看我下面的例子程序:?php str=--采集的内容--;if (preg_match(|]*(.*?)|s,$str,$reg)) echo $reg[1];? 例子程序调试通过。
Q3: php获取网页源码内容有哪些办法
1、PHP是后端语言,前端是无法查看的,前端看到的是最终运算之后的结果,PHP源代码是无法查看的。如果能直接查看PHP源代码那还得了,如果你是单纯想看看网页代码,那就在浏览器右键-查看源码就可以看见。
2、php来获取指定的网页内容 这样的方法有三种。
3、您好。一个网站的源代码是无法直接获取的。您可以寻找一下该网站的页脚或者IE的顶部,是否存在类似 powered by xxx 这里的XX就是该PHP源码系统。然后百度搜索一下就可以找到了。
4、你将源文件下载到本地机上,然后用记事本就可以察看。
5、在地址栏中输入我们要查看网址。在页面中,点击右键,选择查看源代码,就可以查看我们想要的信息了。
6、PHP本身提供了几个函数可以对源代码进行格式化并输出为HTML代码,你可以把要输出的代码段或者代码文件用这些函数处理一下,直接输出为HTML即可。
php自动采集网页数据的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于php自动采集如何实现、php自动采集网页数据的信息别忘了在本站进行查找喔。








