jsoup获取js页面，js获取jsp页面的值

我用Jsoup抓取网页,但是抓取不到js执行后的,哪个帮助下?

1、我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。

2、这几天正在研究。废话不多说，直接上代码，自己研究的，通过迭代抓取。pageList就是抓取的分页页面的全部链接地址 。其中Document doc = NetUtils.getDocument(url)；是jsoup抓取页面的基本操作。

3、八爪鱼采集器可以帮助您抓取调用JS函数的链接地址。在八爪鱼采集器中，您可以使用智能识别功能来解析网页中的JS代码，并提取出链接地址。具体操作步骤如下： 打开八爪鱼采集器，并创建一个新的采集任务。

4、你看到的网页里面没有你想要的东西对吧？其实它的动态内容是js异步加载的，然后根据js返回的json对象动态设置到相应的位置的。

5、有两种方式供选择我推荐第一种，一：去阅读相关的网页里的js和网页请求之后的header，通过hander知道这个获取这个信息的接口。通过httpclient来获知你想要的信息。

相关问答

Q1: java中几种解析html的工具

1、jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据。据说它是基于MIT协议发布的。

2、用jsoup解析html或者htmlparse，不过比较难用，jsoup是jquery语法比较方便。

3、java读取html文件跟读取普通文件一样，都是使用输入输出流，但是java读取html文件之后还需要解析，使用Jsoup对html进行解析。下面是一个java读取带表格的任意html文件，并把html文件转换成excel的例子。

Q2: 用htmlunit怎么去获取一个有JS加载的网页信息

1、具体操作步骤如下： 打开八爪鱼采集器，并创建一个新的采集任务。 在任务设置中，输入您要采集的网页地址，并选择合适的采集模板。 在采集规则设置中，选择需要抓取的内容类型为“链接”。

2、点击虫子的图标（前提是你已经安装插件，插件在火狐应用商店里。）点击之后就会出来一个单独的控制台。如图：选择js列表，该列表是当前页面所有引入的js。

3、只要是正规的浏览器都会这么做的。解决办法是利用后台程序转接一下，就是在后台服务器利用php、asp、jsp等等去读取htm的内容（这不会有任何跨域问题），这样htm中利用ajax向这个后台程序发送请求即可。

4、如果是HTML页面的话，JS传到新页面就输入window.location.href=a.html？id=100。

关于jsoup获取js页面和js获取jsp页面的值的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。