java爬虫用正则，java编写爬虫

JAVA中如何用正则表达式匹配一个新闻网页中的新闻正文?

假设你要搜索一个包含字符“cat”的字符串，搜索用的正则表达式就是“cat”。如果搜索对大小写不敏感，单词“catalog”、“Catherine”、“sophisticated”都可以匹配。

在正则表达式中，连字符（“-”）有着特殊的意义，表示一个范围，比如从0到9。因此，匹配社会安全号码中的连字符号时，前面要加上一个转义字符“/”。5 “否”符号 “^”符号称为“否”符号。

问题： 如何提取任意（尤其是新闻、资讯类）网页的正文内容，提取与文章内容相关的图片，源码可见： extractor.py 。

楼上有个说的很对，用while(m.find())。。

以下是一个Java中用于检查姓名的正则表达式，它能够匹配2到8个汉字或者2到16个英文字母。

相关问答

Q1: 用java写爬虫程序,有个网站获取不到链接,求指导

Java网络爬虫可以通过使用第三方库或自行编写代码来实现。以下是一种常见的实现方式： 导入相关的库：在Java项目中，可以使用Jsoup等第三方库来处理HTML页面，获取页面内容。

你可以用HttpClient来获取网页的源码，然后在源码中分别查找每一个链接。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。

写爬虫你一定要关注以下5个方面：如何抽象整个互联网 抽象为一个无向图，网页为节点，网页中的链接为有向边。抓取算法 采用优先队列调度，区别于单纯的BFS，对于每个网页设定一定的抓取权重，优先抓取权重较高的网页。

Q2: 怎么用java代码爬取网页中视频的源地址,不

1、Java网络爬虫可以通过使用第三方库或自行编写代码来实现。以下是一种常见的实现方式： 导入相关的库：在Java项目中，可以使用Jsoup等第三方库来处理HTML页面，获取页面内容。

2、．编写useSourceViewer 类的基本框架，该类仅包括无返回值的main ()方法，该方法从参数中获取URL，通过输入缓冲和输出缓冲将该URL 原码输出。

3、方法在源代码中搜索视频格式为FLV、MP4等视频格式，可以找到视频文件的绝对路径或相对路径，将其复制到下载工具中就可以下载了。

4、比如，我们如果想得到一个网页上所有包括“java”关键字的文本内容，就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容，只得到包括“java”这个关键字的内容的效果。

Q3: java爬虫读取某一张指定图片的url,求解答

1、从网页上爬取图片的流程和爬取内容的流程基本相同，但是爬取图片的步骤会多一步。

2、以下是一种常见的实现方式： 导入相关的库：在Java项目中，可以使用Jsoup等第三方库来处理HTML页面，获取页面内容。 发送HTTP请求：使用Java的网络请求库，如HttpClient或HttpURLConnection，发送HTTP请求获取网页内容。

3、//isUrlAlreadyVisited：URL是否访问过，大型的搜索引擎往往采用BloomFilter进行排重，这里简单使用HashMap //isDepthAcceptable：是否达到指定的深度上限。爬虫一般采取广度优先的方式。

4、出现这种情况的原因在于你访问的图片资源是受保护的，里面有判断是否登录的判断，防止盗链或者下载用的。

Q4: java爬虫抓取指定数据

1、需要先用img标签的正则表达式匹配获取到img标签，再用src属性的正则表达式获取这个img标签中的src属性的图片url，然后再通过缓冲输入流对象读取到这个图片url的图片信息，配合文件输出流将读到的图片信息写入到本地即可。

2、使用jsoup解析到这个url就行，dom结构如下：look-inside-cover类只有一个，所以直接找到这个img元素，获取src属性，就可以获取到图片路径。

3、一般爬虫都不会抓登录以后的页面，如果你只是临时抓某个站，可以模拟登录，然后拿到登录以后的Cookies，再去请求相关的页面。

4、定时抓取固定网站新闻标题、内容、发表时间和来源。

java爬虫用正则的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于java编写爬虫、java爬虫用正则的信息别忘了在本站进行查找喔。