js调用htmlunit，js调用html

如何从网页捉取JS动态数据

解决方案首先通过 Web kit 发送请求信息，然后等待网页被完全加载后将其赋值到某个变量中。接下来我们利用lxml从 HTML 数据中提取出有效的信息。这个过程需要一点时间。

代码比较简单，直接看就可以了，需要注意的是，由于浏览器查询需要时间，在查询的过程中，应该让主线程休眠一段时间，才能保证htmlunit浏览器已经查询完毕。

用dryscrape库动态抓取页面 js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。

相关问答

Q1: 用htmlunit怎么去获取一个有JS加载的网页信息

找到你所需的页面，F12打开控制台，可以在source 下面找到加载的文件。如果不行的话，点开network，会有该页面的加载的一系列的资源文件。找到js文件或者HTML文件打开。然后，点开查看 ，文件中的信息。

代码比较简单，直接看就可以了，需要注意的是，由于浏览器查询需要时间，在查询的过程中，应该让主线程休眠一段时间，才能保证htmlunit浏览器已经查询完毕。

具体操作步骤如下： 打开八爪鱼采集器，并创建一个新的采集任务。 在任务设置中，输入您要采集的网页地址，并选择合适的采集模板。 在采集规则设置中，选择需要抓取的内容类型为“链接”。

需要准备的材料分别有：电脑、chrome浏览器。首先，chrome浏览器，以zhidao.baidu.com为例，进入网页。键盘按F12，显示出开发者工具面板，点击“Network”的“JS”选项。刷新页面，此时会列出所有调用的js文件。

我没有用过python版的htmlunit，我用的是java版，但用法应该类似，你也可以参考下面的这个网页，当然他只做到了submit，之后的对结果的判断做法是类似的，也可以用你上面写的通过xpath到结果网页里面寻找的方法。

通过url传参。如果是HTML页面的话，JS传到新页面就输入window.location.href=a.html？id=100。

Q2: WebDriver到底怎么用

隐藏元素处理（element not visible）使用WebDriver点击界面上被隐藏的元素时，使用默认的IWebElement.Click()方法可能无法触发Click事件，这时的修改方案可以采用执行JS的方式来实现。

它就是一个包，比如用java，他就是一个java包。导入后就可以使用这个包里面的类了。

os.environ[webdriver.chrome.driver] = chromedriver browser = webdriver.Chrome(chromedriver)url = http：//这样基本就可以直接用了。

js调用htmlunit的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于js调用html、js调用htmlunit的信息别忘了在本站进行查找喔。