js爬取数据效率，爬虫js生成的数据

如何爬取网页中js动态生成的数据

1、抓包分析，这个方法的优点是抓取的速度快，取得数据结构比较好，处理起来简单，很多是 json 格式的数据，但是抓包分析需要大量的时间，这里的时间是指需要模拟需要获取数据的之前的一个或者几个请求，涉及到 headers 里的很多参数，有时候还设计到数据加密，这个过程你可能需要读 js 源码，才能解决问题。

2、抓取动态页面有两种常用的方法，一是通过JavaScript逆向工程获取动态数据接口（真实的访问路径），另一种是利用selenium库模拟真实浏览器，获取JavaScript渲染后的内容。但selenium库用起来比较繁琐，抓取速度相对较慢，所以第一种方法日常使用较多。

3、可以采用最原始的方法就是就是自己去模拟一个请求，将js中ajax的链接地址拼接出来，再次进行请求，这个时候需要注意post方式还是get方法。

4、第一步：打开visual studio 2017 新建一个控制台项目，打开nuget包管理器。第二部：搜索Selenium，安装Selenium.WebDriver。注意：如果要使用代理的话最好安装0.0版本。第三步：写下如下图所示的代码。但是执行的时候会报错。原因是找不到PhantomJS.exe。这时候可以去下载一个，也可以继续看第四步。

相关问答

Q1: 如何爬取JS动态生成的数据

1、可以采用最原始的方法就是就是自己去模拟一个请求，将js中ajax的链接地址拼接出来，再次进行请求，这个时候需要注意post方式还是get方法。

2、抓取动态页面有两种常用的方法，一是通过JavaScript逆向工程获取动态数据接口（真实的访问路径），另一种是利用selenium库模拟真实浏览器，获取JavaScript渲染后的内容。但selenium库用起来比较繁琐，抓取速度相对较慢，所以第一种方法日常使用较多。

3、给表格一个id，然後用document.getElementById(aa).innerHTML。如果是tr或者td也是一样，给特定的tr或者td一个id，然後用document.getElementById(aa).innerHTML来获取裏面的数据，如果要修改的话最好用jQuery，因为在ie中操作不能用innerHTML来修改的，用jquery直接用html()方法就可以。

4、大部分可以。关键字，自行处理。使用js 虚拟机。

5、对于这种动态加载的网站，建议使用第三方库selenium爬取。它可以完全模拟浏览器，等待网站全部加载完成后再进行数据的自动获取。对于主流的ChromeDriver、InternetExplorerDriver、FirefoxDriver、OperaDriver都支持，网站上的元素也支持多种选择器，如class、id、xpath等。

6、phantomjs因为是无头浏览器可以跑js，所以同样可以跑dom节点，用来进行网页抓取是再好不过了。比如我们要批量抓取网页 “历史上的今天” 的内容。网站 对dom结构的观察发现，我们只需要取到 .list li a的title值即可。

Q2: 如何使用nodejs做爬虫程序

1、如果是定向爬取，且主要目标是解析js动态生成的内容 此时候，页面内容是有js/ajax动态生成的，用普通的请求页面-解析的方法就不管用了，需要借助一个类似firefox、chrome浏览器的js引擎来对页面的js代码做动态解析。

2、第一种方式，采用node，js中的 superagent+request + cheerio。cheerio是必须的，它相当于node版的jQuery，用过jQuery的同学会非常容易上手。它主要是用来获取抓取到的页面元素和其中的数据信息。superagent是node里一个非常方便的、轻量的、渐进式的第三方客户端请求代理模块，用他来请求目标页面。

3、可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据。 环境和安装 Puppeteer本身依赖4以上的Node，但是为了异步超级好用的async/await，推荐使用6版本以上的Node。

关于js爬取数据效率和爬虫js生成的数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。