java数据采集源代码 java 采集

如何用Java实现数据采集?

Java网页数据采集器例子如下java数据采集源代码：

import java.util.regex.Matcher;

import java.util.regex.Pattern;

/**

* Group 类 用于匹配和抓取 html页面java数据采集源代码的数据

*/

public class Group {

public static void main(String[] args) {

// Pattern 用于编译正则 这里用到java数据采集源代码了3个正则 分别用括号()包住

// 第1个正则用于匹配URL 当然这里java数据采集源代码的正则不一定准确 这个匹配URL的正则就是错误的 只是在这里刚好能匹配出来

// 第2个正则是用于匹配标题 SoFlash的

// 第3个正则用于匹配日期

/* 这里只用了一条语句便把url,标题和日期全部给匹配出来了 */

Pattern p = Pattern

.compile("='(\\w.+)'(\\w.+[a-zA-Z])-(\\d{1,2}\\.\\d{1,2}\\.\\d{4})");

String s = "a href=''SoFlash-12.22.2011/a";

Matcher m = p.matcher(s);

while (m.find()) {

// 通过调用group()方法里的索引 将url,标题和日期全部给打印出来

System.out.println("打印出url链接:" + m.group(1));

System.out.println("打印出标题:" + m.group(2));

System.out.println("打印出日期:" + m.group(3));

System.out.println();

}

System.out.println("group方法捕获的数据个数:" + m.groupCount() + "个");

}

}

下输出结果:

打印出url链接:

打印出标题:SoFlash

打印出日期:12.22.2011

group方法捕获的数据个数:3个

相关问答

Q1: 怎样用Java实现网站数据采集.txt

可以使用HttpClient读取网页的内容

整个过程分为六步

创建 HttpClient 的实例

2. 创建某种连接方法的实例，在这里是 GetMethod。在 GetMethod 的构造函数中传入待连接的地址

3. 调用第一步中创建好的实例的 execute 方法来执行第二步中创建好的 method 实例

4. 读 response

5. 释放连接。无论执行方法是否成功，都必须释放连接

6. 对得到后的内容进行处理

实现如下：

import java.io.IOException;

import org.apache.commons.httpclient.*;

import org.apache.commons.httpclient.methods.GetMethod;

import org.apache.commons.httpclient.params.HttpMethodParams;

public class HttpClientTest...{

public static void main(String[] args) {

//构造HttpClient的实例

HttpClient httpClient = new HttpClient();

//创建GET方法的实例

GetMethod getMethod = new GetMethod("");

//使用系统提供的默认的恢复策略

getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,

new DefaultHttpMethodRetryHandler());

try {

//执行getMethod

int statusCode = httpClient.executeMethod(getMethod);

if (statusCode != HttpStatus.SC_OK) {

System.err.println("Method failed: "

+ getMethod.getStatusLine());

}

//读取内容

byte[] responseBody = getMethod.getResponseBoy();

//处理内容

System.out.println(new String(responseBody));

} catch (HttpException e) {

//发生异常，可能是协议不对或者返回的内容有问题

System.out.println("Please check your provided http address!");

e.printStackTrace();

} catch (IOException e) {

//发生网络异常

e.printStackTrace();

} finally {

//释放连接

getMethod.releaseConnection();

}

}

}

这样得到的是页面的源代码，再进行处理

Q2: java后台获取网页ajax数据和返回数据简单源码

1新建一个servlet xml中相应配置(一般自动)

2创建service方法

3接受参数，做操作，返回数据

比如页面发送ajax请求到SomeServlet

$.post("SomeServlet的请求路径",{param:"param"},function(data){

    //data为返回的数据以json形式

    alert(data.id + "  " + data.name + " " + data.age );

},"json");

Servlet

public void service(HttpServletRequest request, HttpServletResponse response)

throws ServletException, IOException {

    request.setCharacterEncoding("utf-8");

    response.setContentType("text/html;charset=utf-8");

    PrintWriter out = response.getWriter();

    String param = request.getParameter("param");//获取参数

    //你的操作

    //返回数据

    String json = "{\"id\":1,\"name\":\"张三\",\"age\":18}";

    out.print(json);

}

    

    

java数据采集源代码的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于java 采集、java数据采集源代码的信息别忘了在本站进行查找喔。