抓取用js写的页面，webmagic抓取js中的数据

phantomjs怎么抓取页面的动态数据

1、用dryscrape库动态抓取页面 js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。

2、可以通过浏览器的调试功能，例如Firefox按F12，点网络标签，然后就可以看到网页的所有数据信息，网页通过AJAX异步加载的数据也可以得到。

3、第二部：搜索Selenium，安装Selenium.WebDriver。注意：如果要使用代理的话最好安装0.0版本。第三步：写下如下图所示的代码。但是执行的时候会报错。原因是找不到PhantomJS.exe。

4、查看相应的js代码，用python获取原始数据之后，模仿js编写相应的python代码。通过接口api获得数据，直接使用python获取接口数据并处理。三。终极方法。

5、从某不良少年写的抓取淘宝mm的例子中收到启发，对于这样的情况，一般可以同构自己搭建浏览器实现。phantomJs，CasperJS都是不错的选择。

6、需掌握以下知识： 学习Python基础知识并实现基本的爬虫过程 一般获取数据的过程都是按照 发送请求-获得页面反馈-解析并且存储数据 这三个流程来实现的。这个过程其实就是模拟了一个人工浏览网页的过程。

相关问答

Q1: 怎么看网页的js怎么看网页的js代码

第一种：打开一个网页后点击鼠标的右键就会有\查看源文件\，操作鼠标右键---查看源文件即可弹出一个记事本，而记事本内容就是此网页的html代码。

首先，chrome浏览器，以zhidao.baidu.com为例，进入网页。键盘按F12，显示出开发者工具面板，点击“Network”的“JS”选项。刷新页面，此时会列出所有调用的js文件。

在网页中点右键，然后查看源文件，如果JS代码是直接写在HTML文件中的这样就能看到了，如果JS代码是在外部文件的，那就从HTML代码中找到js外部文件的网址，然后下载回来就能看了。

以chrome为例，按F12打开调试窗口，切换到Sources选项卡，最右边的Event Listener Breakpoints里勾选Mouse下的mouseover即可，当鼠标移动到图片上时触发mouseover事件，chrome可响应事件设置断点，跟踪js代码查看就可以。

Q2: 如何用phantomjs去抓取js渲染后的页面

phantomjs因为是无头浏览器可以跑js，所以同样可以跑dom节点，用来进行网页抓取是再好不过了。比如我们要批量抓取网页 “历史上的今天” 的内容。网站 对dom结构的观察发现，我们只需要取到 .list li a的title值即可。

应该是没法抓取渲染后的页面。因为渲染这个工作是浏览器完成的。而你通过python脚本抓取到的内容仅仅是html、css、js等源码。

用dryscrape库动态抓取页面 js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。

支持Web标准、DOM操作、JSON、HTMLCanvas、SVG等，同时也提供了处理文件I/O的操作，从而使你可以向操作系统读写文件等。PhantomJS的用处可谓非常广泛，诸如前端无界面自动化测试（需要结合Jasmin）、网络监测、网页截屏等。

python爬虫框架概述 爬虫框架中比较好用的是 Scrapy 和PySpider。pyspider上手更简单，操作更加简便，因为它增加了 WEB 界面，写爬虫迅速，集成了phantomjs，可以用来抓取js渲染的页面。

关于抓取用js写的页面和webmagic抓取js中的数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。