网络爬虫java代码,Java爬虫代码

Java源码 实现网络爬虫?

//Java爬虫demo

 

import java.io.File;

import java.net.URL;

import java.net.URLConnection;

import java.nio.file.Files;

import java.nio.file.Paths;

import java.util.Scanner;

import java.util.UUID;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

 

public class DownMM {

    public static void main(String[] args) throws Exception {

        //out为输出的路径,注意要以\\结尾

        String out = "D:\\JSP\\pic\\java\\"; 

        try{

            File f = new File(out);

            if(! f.exists()) {  

                f.mkdirs();  

            }  

        }catch(Exception e){

            System.out.println("no");

        }

        

        String url = "-";

        Pattern reg = Pattern.compile("img src=\"(.*?)\"");

        for(int j=0, i=1; i=10; i++){

            URL uu = new URL(url+i);

            URLConnection conn = uu.openConnection();

            conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko");

            Scanner sc = new Scanner(conn.getInputStream());

            Matcher m = reg.matcher(sc.useDelimiter("\\A").next());

            while(m.find()){

                Files.copy(new URL(m.group(1)).openStream(), Paths.get(out + UUID.randomUUID() + ".jpg"));

                System.out.println("已下载:"+j++);

            }

        }

    }

}

相关问答

Q1: 求用JAVA编写一个网络爬虫的程序

先根据一个链接，抓取该页面；解析该页面，搜取出该页面中有用的链接，根据链接地址循环抓取就OK了；--简单爬行器原理 抓取完文件后还需要一个功能好点的文档解析器来解析出文件中的内容；--文件解析器 再根据关键字（分词器）处理这些页面，建立自己的搜索引擎；--分词器不好解决 我也正在搞这方面 呵呵

Q2: java爬虫抓取指定数据

根据java网络编程相关的内容，使用jdk提供的相关类可以得到url对应网页的html页面代码。

针对得到的html代码，通过使用正则表达式即可得到我们想要的内容。

比如，我们如果想得到一个网页上所有包括“java”关键字的文本内容，就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容，只得到包括“java”这个关键字的内容的效果。

从网页上爬取图片的流程和爬取内容的流程基本相同，但是爬取图片的步骤会多一步。

需要先用img标签的正则表达式匹配获取到img标签，再用src属性的正则表达式获取这个img标签中的src属性的图片url，然后再通过缓冲输入流对象读取到这个图片url的图片信息，配合文件输出流将读到的图片信息写入到本地即可。