java爬虫爬照片源代码,图片 爬虫

Java中怎么抓取网页中的图片

通过httpclient来爬取网站内容，分析当前内容页中的图片‘规则’

抓取一般都是模拟浏览器访问目标网页，通过返回的页面html代码进行分析自己需要的数据

查找规则，例如你爬取的网页 ，看到当前页面显示的图片格式如下img src=""

通过解析爬取的网页源代码（html）进行字符串的操作即可，现在有相应的第三方jar包可以帮你更快的完成这部分工作，例如htmlpaser，获取到对应的地址，然后进行保存或下载。

你可以搜索，java爬虫(httpclient)和htmlpaser做更多的了解。

相关问答

Q1: 跪求一份java网络爬虫的源代码急用！！

希望能帮到你 . . . 这个可以解决你的问题 但是没有样式的.只是爬了源代码

import java.io.BufferedReader;

import java.io.BufferedWriter;

import java.io.File;

import java.io.FileOutputStream;

import java.io.InputStreamReader;

import java.io.OutputStreamWriter;

import java.net.HttpURLConnection;

import java.net.URL;

public class WebPageSource {

public static void main(String args[]){

URL url;

int responsecode;

HttpURLConnection urlConnection;

BufferedReader reader;

BufferedWriter writer;

String line;

try{

//生成一个URL对象，要获取源代码的网页地址为：

url=new URL("");

//打开URL

urlConnection = (HttpURLConnection)url.openConnection();

//获取服务器响应代码

responsecode=urlConnection.getResponseCode();

if(responsecode==200){

//得到输入流，即获得了网页的内容

reader=new BufferedReader(new InputStreamReader(urlConnection.getInputStream(),"GBK"));

writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(new File("d://test.txt"))));

while((line=reader.readLine())!=null){

writer.write(line);

writer.newLine();

}

}

else{

System.out.println("获取不到网页的源码，服务器响应代码为："+responsecode);

}

}

catch(Exception e){

System.out.println("获取不到网页的源码,出现异常："+e);

}

}

}

Q2: java爬虫读取某一张指定图片的url，求解答

使用jsoup解析到这个url就行，dom结构如下:

look-inside-cover类只有一个，所以直接找到这个img元素，获取src属性，就可以获取到图片路径。

代码实现如下：

Document doc = Jsoup.connect("").get();

Elements imgs = doc.select(".look-inside-cover");

String imgUrl = imgs.get(0).attr("src");

jsoup的jar包分享给你：

Q3: 用java编写 网络爬虫求代码和流程 急

import java.awt.*;

import java.awt.event.*;

import java.io.*;

import java.net.*;

import java.util.*;

import java.util.regex.*;

import javax.swing.*;

import javax.swing.table.*;//一个Web的爬行者(注：爬行在这里的意思与抓取，捕获相同)

public class SearchCrawler extends JFrame{

//最大URL保存值

private static final String[] MAX_URLS={"50","100","500","1000"};

//缓存robot禁止爬行列表

private HashMap disallowListCache=new HashMap();

//搜索GUI控件

private JTextField startTextField;

private JComboBox maxComboBox;

private JCheckBox limitCheckBox;

private JTextField logTextField;

private JTextField searchTextField;

private JCheckBox caseCheckBox;

private JButton searchButton;

//搜索状态GUI控件

private JLabel crawlingLabel2;

private JLabel crawledLabel2;

private JLabel toCrawlLabel2;

private JProgressBar progressBar;

private JLabel matchesLabel2;

//搜索匹配项表格列表

private JTable table;

//标记爬行机器是否正在爬行

private boolean crawling;

//写日志匹配文件的引用

private PrintWriter logFileWriter;

//网络爬行者的构造函数

public SearchCrawler(){

//设置应用程序标题栏

setTitle("搜索爬行者");

//设置窗体大小

setSize(600,600);

//处理窗体关闭事件

addWindowListener(new WindowAdapter(){

public void windowClosing(WindowEvent e){

actionExit();

}

});

//设置文件菜单

JMenuBar menuBar=new JMenuBar();

JMenu fileMenu=new JMenu("文件");

fileMenu.setMnemonic(KeyEvent.VK_F);

JMenuItem fileExitMenuItem=new JMenuItem("退出",KeyEvent.VK_X);

fileExitMenuItem.addActionListener(new ActionListener(){

public void actionPerformed(ActionEvent e){

actionExit();

}

});

fileMenu.add(fileExitMenuItem);

menuBar.add(fileMenu);

setJMenuBar(menuBar);