java如何爬取网站代码 java怎么爬取数据

java爬虫 怎么动态的获取html

package httpclient_learn;import java.io.IOException;import org.apache.http.HttpEntity;import org.apache.http.HttpStatus;import org.apache.http.client.ClientProtocolException;import org.apache.http.client.methods.CloseableHttpResponse;import org.apache.http.client.methods.HttpGet;import org.apache.http.client.utils.HttpClientUtils;import org.apache.http.impl.client.CloseableHttpClient;import org.apache.http.impl.client.HttpClients;import org.apache.http.util.EntityUtils;public class HttpClientTest {

public static void main(String[] args) { //1.生成httpclient，相当于该打开一个浏览器

CloseableHttpClient httpClient = HttpClients.createDefault();

CloseableHttpResponse response = null; //2.创建get请求，相当于在浏览器地址栏输入 网址

HttpGet request = new HttpGet(""); try { //3.执行get请求，相当于在输入地址栏后敲回车键

response = httpClient.execute(request);

//4.判断响应状态为200，进行处理

if(response.getStatusLine().getStatusCode() == HttpStatus.SC_OK) { //5.获取响应内容

HttpEntity httpEntity = response.getEntity();

String html = EntityUtils.toString(httpEntity, "utf-8");

System.out.println(html);

} else { //如果返回状态不是200，比如404（页面不存在）等，根据情况做处理，这里略

System.out.println("返回状态不是200");

System.out.println(EntityUtils.toString(response.getEntity(), "utf-8"));

}

} catch (ClientProtocolException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

} finally { //6.关闭 HttpClientUtils.closeQuietly(response);

HttpClientUtils.closeQuietly(httpClient);

}

}

}

相关问答

Q1: java爬虫怎么抓取js动态生成的内容

java如何爬取网站代码我用Jsoup写爬虫，一般遇到html返回没有java如何爬取网站代码的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。

1、有些页面元素被隐藏起来java如何爬取网站代码了-换selector解决

2、有些数据保存在js/json对象中-截取对应的串，分析解决

3、通过api接口调用-伪造请求获得数据

还有一个终极方法

4、使用phantomjs或者casperjs这种headless浏览器

Q2: java爬虫怎么抓取登陆后的网页数据

一般爬虫都不会抓登录以后的页面，

如果你只是临时抓某个站，可以模拟登录，然后拿到登录以后的Cookies，再去请求相关的页面。

Q3: 如何用JAVA爬取AJAX加载后的页面

普通的爬取是抓不了js的之后的数据的 可以用phantomjs或者htmlUnit实现

附上phantomjs示列代码

package cn.wang.utils;

import java.util.Random;

import com.gargoylesoftware.htmlunit.BrowserVersion;

import com.gargoylesoftware.htmlunit.CookieManager;

import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;

import com.gargoylesoftware.htmlunit.WebClient;

public class htmlUnitUtils {

static WebClient webClient = null;

static Random random = new Random();

static{

//1.创建对象

webClient = new WebClient(BrowserVersion.CHROME);

//2.设置参数

//启动js

webClient.getOptions().setJavaScriptEnabled(true);

//关闭css渲染

webClient.getOptions().setCssEnabled(false);

//启动重定向

webClient.getOptions().setRedirectEnabled(true);

//设置连接超时时间 ，这里是10S。如果为0，则无限期等待

webClient.getOptions().setTimeout(1000 * 15);

//启动cookie管理

webClient.setCookieManager(new CookieManager());

//启动ajax代理

webClient.setAjaxController(new NicelyResynchronizingAjaxController());

//js运行时错误，是否抛出异常

webClient.getOptions().setThrowExceptionOnScriptError(false);

//设置浏览器请求信息

webClient.addRequestHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");

webClient.addRequestHeader("Accept-Encoding", "gzip, deflate");

webClient.addRequestHeader("Accept-Language", "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2");

webClient.addRequestHeader("Connection", "keep-alive");

webClient.addRequestHeader("Upgrade-Insecure-Requests", "1");

}

public static void runJs(String url){

try {

webClient.addRequestHeader("User-Agent", Constant.useragents[random.nextInt(Constant.useragents.length)]);

//等待js渲染执行 waitime等待时间(ms)

webClient.waitForBackgroundJavaScript(1000 * 10);

//3.获取页面

webClient.getPage(url);

} catch (Exception e) {

e.printStackTrace();

} finally {

if(webClient != null){

webClient.close();

}

}

}

public static void main(String[] args) {

runJs("");

System.setProperty("phantomjs.binary.path", "D:\\works\\tool\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe");

}

}

Q4: java写网络爬虫，如何爬取在同一个网页中，但是已经被隐藏的div（需要点击显示更多）

这种是用js实现的。所以后面的内容实际上是动态生成的java如何爬取网站代码，网络爬虫抓取的是静态页面。

至于解决办法java如何爬取网站代码，网上有几种java如何爬取网站代码：

一种是使用自动化测试工具去做，比如selenium，可以模拟点击等操作，但是这个其实和爬虫还是有很大区别的。

二是利用特定的类库在后端调用js，python的倒是有，但是java的java如何爬取网站代码我就不清楚java如何爬取网站代码了。

三是自己找到相关的页面的js代码，分析出来相关的请求url，直接调新的url就行了，但是一般的js都是加密压缩的，但是你可以试试。

Q5: 怎么用java代码爬取网页中视频的源地址，不

第一种方式：1、用HttpClient模拟请求html 获取html源码；2、用jsoup方法抓取解析网页数据

第二种方式：1、用HttpClient模拟请求html 获取html源码；2、用正则抓取解析网页数据

有很多种方式能够获取html源码，源码获取到了数据解析就很容易了。你可以百度一下有很多

关于java如何爬取网站代码和java怎么爬取数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。