基于apache —HttpClient的小爬虫获取网页内容

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

今天（17-03-31）忙了一下午研究webmagic,发现自己还太年轻，对于这样难度的框架（类库）

还是难以接受，还是从基础开始吧，因为相对基础的东西教程相多一些，于是乎我找了apache其下的

HttpClient,根据前辈们发的教程自己也简单写了一下，感觉还好。

下面实现的是单个页面的获取：

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;import java.io.IOException;public class Main { public static void main(String[] args) throws IOException{
try {
//创建client实例
HttpClient client= HttpClients.createDefault();
//创建httpget实例
HttpGet httpGet=new HttpGet("http://www.btba.com.cn");
//执行 get请求
HttpResponse response=client.execute(httpGet);
//返回获取实体
HttpEntity entity=response.getEntity();
//获取网页内容，指定编码
String web= EntityUtils.toString(entity,"UTF-8");
//输出网页
System.out.println(web); } catch (IOException e) {
e.printStackTrace();
} }
}