crawler4j图片爬虫

package com.demo.imageCrawler4j;import java.io.File;
import java.io.IOException;
import java.util.UUID;
import java.util.regex.Pattern;import com.google.common.io.Files;import edu.uci.ics.crawler4j.crawler.Page;
import edu.uci.ics.crawler4j.crawler.WebCrawler;
import edu.uci.ics.crawler4j.parser.BinaryParseData;
import edu.uci.ics.crawler4j.url.WebURL;/*
* 这个类主要是爬取图片，并且存储到指定文件夹
*/
public class ImageCrawler extends WebCrawler { /*
* 指定文件后缀过滤
*/
private static final Pattern filters = Pattern
.compile(".*(\\.(css|js|mid|mp2|mp3|mp4|wav|avi|mov|mpeg|ram|m4v|pdf" + "|rm|smil|wmv|swf|wma|zip|rar|gz))$"); /*
* 正则匹配图片文件
*/
private static final Pattern imgPatterns = Pattern.compile(".*(\\.(bmp|gif|jpe?g|png|tiff?))$"); private static File storageFolder; // 爬取的图片本地存储地址
private static String[] crawlDomains; // 指定要爬取的域名 /**
* 配置方法 指定域名和本地存储文件
* @param domain
* @param storageFolderName
*/
public static void configure(String[] domain, String storageFolderName) {
crawlDomains = domain; storageFolder = new File(storageFolderName); // 实例化
if (!storageFolder.exists()) { // 假如文件不存在
storageFolder.mkdirs(); // 我们创建一个
}
} /**
* 这个方法主要是决定哪些url我们需要抓取，返回true表示是我们需要的，返回false表示不是我们需要的Url
* 第一个参数referringPage封装了当前爬取的页面信息
* 第二个参数url封装了当前爬取的页面url信息
*/
@Override
public boolean shouldVisit(Page referringPage, WebURL url) {
String href = url.getURL().toLowerCase(); // 得到小写的url
if (filters.matcher(href).matches()) { // 过滤指定后缀url
return false;
} if (imgPatterns.matcher(href).matches()) { // 匹配指定图片后缀文件
return true;
} for (String domain : crawlDomains) { // 匹配指定域名
if (href.startsWith(domain)) {
return true;
}
}
return false;
} /**
* 当我们爬到我们需要的页面，这个方法会被调用，我们可以尽情的处理这个页面
* page参数封装了所有页面信息
*/
@Override
public void visit(Page page) {
String url = page.getWebURL().getURL(); // 获取url // 只爬取大于等于10kB的图片文件
if (!imgPatterns.matcher(url).matches() ||
!((page.getParseData() instanceof BinaryParseData) || (page.getContentData().length < (10 * 1024)))) {
return;
} // 获取图片后缀
String extension = url.substring(url.lastIndexOf('.'));
String hashedName = UUID.randomUUID() + extension; // 通过uuid 拼接成唯一图片名称 // 定义存储文件
String filename = storageFolder.getAbsolutePath() + "/" + hashedName;
try {
Files.write(page.getContentData(), new File(filename)); // 把爬取到的文件存储到指定文件
System.out.println("爬取图片的url:"+url);
} catch (IOException iox) {
iox.printStackTrace();
}
}
}

package com.demo.imageCrawler4j;import edu.uci.ics.crawler4j.crawler.CrawlConfig;
import edu.uci.ics.crawler4j.crawler.CrawlController;
import edu.uci.ics.crawler4j.fetcher.PageFetcher;
import edu.uci.ics.crawler4j.robotstxt.RobotstxtConfig;
import edu.uci.ics.crawler4j.robotstxt.RobotstxtServer;/**
* 图片爬虫控制器
* @author user
*
*/
public class ImageCrawlController { public static void main(String[] args) throws Exception { String rootFolder = "c:/crawl"; // 定义爬虫数据存储位置
int numberOfCrawlers = 7; // 定义7个爬虫，也就是7个线程
String storageFolder = "c:/crawl/data"; // 定义爬取的图片本地存储位置 CrawlConfig config = new CrawlConfig(); // 实例化爬虫配置 config.setCrawlStorageFolder(rootFolder); // 设置爬虫文件存储位置 /*
* 设置允许爬取二进制文件
* 因为图片属于二进制文件
*/
config.setIncludeBinaryContentInCrawling(true); String[] crawlDomains = {"http://669pic.com/"}; /*
* 实例化爬虫控制器
*/
PageFetcher pageFetcher = new PageFetcher(config); // 实例化页面获取器
RobotstxtConfig robotstxtConfig = new RobotstxtConfig(); // 实例化爬虫机器人配置 比如可以设置 user-agent // 实例化爬虫机器人对目标服务器的配置，每个网站都有一个robots.txt文件 规定了该网站哪些页面可以爬，哪些页面禁止爬，该类是对robots.txt规范的实现
RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher);
// 实例化爬虫控制器
CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer); /*
* 配置爬虫种子页面，就是规定的从哪里开始爬，可以配置多个种子页面
*/
for (String domain : crawlDomains) {
controller.addSeed(domain);
} ImageCrawler.configure(crawlDomains, storageFolder); // 配置爬虫域名，以及本地存储位置 /*
* 启动爬虫，爬虫从此刻开始执行爬虫任务，根据以上配置
*/
controller.start(ImageCrawler.class, numberOfCrawlers);
}
}