httpparase + httpclient 的运用

1. private void extractLinks(URL pageURL, Parser parser) {
2. Map<String, String> links = new HashMap<String, String>();
3. try {
4. NodeFilter filter = new NodeClassFilter(LinkTag.class);
5. NodeList list = parser.extractAllNodesThatMatch(filter);
6. for (int i = 0; i < list.size(); i++) {
7. LinkTag n = (LinkTag) list.elementAt(i);
8. String link = n.getLink();
9. if (!n.isHTTPLink()) {
10. continue;
11. }
12. if (link.startsWith("http://")) {
13. try {
14. link = new URL(link).toString();
15. links.put(HashUtil.md5(link), link);
16. } catch (MalformedURLException e) {
17. continue;
18. }
19. } else {
20. try {
21. link = new URL(pageURL, link).toString();
22. links.put(HashUtil.md5(link), link);
23. } catch (MalformedURLException e) {
24. continue;
25. }
26. }
27. }
28. } catch (ParserException e) {
29. // TODO 处理异常
30. e.printStackTrace();
31. } catch (RuntimeException e) {
32. // TODO 处理异常
33. e.printStackTrace();
34. }
35. doc.setDocs(createDoc(links));
36. }

1. private Map<String, Object> extractText(Parser parser) {
2. try {
3. TextExtractVistor textExtractor = new TextExtractVistor();
4. parser.visitAllNodesWith(textExtractor);
5. doc.getText().setText(textExtractor.getText());
6. doc.getText().setDigest(textExtractor.getDigest());
7. doc.getText().setKeywords(textExtractor.getKeywords());
8. doc.getText().setTitle(textExtractor.getTitle());
9. return textExtractor.getHashedTextTags();
10. } catch (ParserException e) {
11. // TODO Auto-generated catch block
12. e.printStackTrace();
13. }
14. return null;
15. }

1. public class TextExtractVistor extends NodeVisitor {
2. StringBuilder textBuf = new StringBuilder(4096);
3. private boolean mIsScript;
4. private boolean mIsStyle;
5. private boolean mIsPre;
6. protected int mCollapseState;
7. private final String NEWLINE = System.getProperty("line.separator");
8. private final int NEWLINE_SIZE = NEWLINE.length();
9. private boolean mIsMeta;
10. private boolean mIsH;
11. private boolean isStrong;
12. private StringBuilder digest = new StringBuilder(512);
13. private StringBuilder keywords = new StringBuilder(100);
14. private boolean isTtitle;
15. private String title;
16. private Map<String, Object> textTags = new HashMap<String, Object>();
17. protected void carriageReturn() {
18. int length;
19. length = textBuf.length();
20. if ((0 != length)
21. && ((NEWLINE_SIZE <= length) && (!textBuf.substring(
22. length - NEWLINE_SIZE, length).equals(NEWLINE))))
23. textBuf.append(NEWLINE);
24. mCollapseState = 0;
25. }
26. public void visitStringNode(Text string) {
27. if (!mIsScript && !mIsStyle) {
28. String text = string.getText();
29. textTags.put(HashUtil.md5(text), null);
30. if (!mIsPre) {
31. text = Translate.decode(text);
32. text = text.replace('\u00a0', ' ');
33. collapse(textBuf, text);
34. } else {
35. textBuf.append(text);
36. if(mIsMeta){
37. keywords.append(text);
38. }else if(mIsH || isStrong){
39. digest.append(text);
40. }else if(isTtitle){
41. title = text;
42. }
43. }
44. }
45. }
46. public void visitTag(Tag tag) {
47. String name = tag.getTagName();
48. if (name.equalsIgnoreCase("PRE"))
49. mIsPre = true;
50. else if (name.equalsIgnoreCase("SCRIPT"))
51. mIsScript = true;
52. else if (name.equalsIgnoreCase("STYLE"))
53. mIsStyle = true;
54. else if (name.equalsIgnoreCase("META"))
55. mIsMeta = true;
56. else if (name.startsWith("[H|h]"))
57. mIsH = true;
58. else if (name.equalsIgnoreCase("STRONG"))
59. isStrong = true;
60. else if (name.equalsIgnoreCase("TITLE"))
61. isTtitle = true;
62. if (tag.breaksFlow())
63. carriageReturn();
64. }
65. public void visitEndTag(Tag tag) {
66. String name;
67. name = tag.getTagName();
68. if (name.equalsIgnoreCase("PRE"))
69. mIsPre = false;
70. else if (name.equalsIgnoreCase("SCRIPT"))
71. mIsScript = false;
72. else if (name.equalsIgnoreCase("STYLE"))
73. mIsStyle = false;
74. else if (name.equalsIgnoreCase("META"))
75. mIsMeta = false;
76. else if (name.startsWith("[H|h]"))
77. mIsH = false;
78. else if (name.equalsIgnoreCase("STRONG"))
79. isStrong = false;
80. else if (name.equalsIgnoreCase("TITLE"))
81. isTtitle = false;
82. }
83. public String getText() {
84. return textBuf.toString();
85. }
86. public String getDigest(){
87. return digest.toString();
88. }
89. public String getKeywords(){
90. return keywords.toString();
91. }
92. public String getTitle(){
93. return title;
94. }
95. public Map<String, Object> getHashedTextTags(){
96. return textTags;
97. }
98. protected void collapse(StringBuilder buffer, String string) {
99. int chars;
100. char character;
101. chars = string.length();
102. if (0 != chars) {
103. for (int i = 0; i < chars; i++) {
104. character = string.charAt(i);
105. switch (character) {
106. // see HTML specification section 9.1 White space
107. // http://www.w3.org/TR/html4/struct/text.html#h-9.1
108. case '\u0020':
109. case '\u0009':
110. case '\u000C':
111. case '\u200B':
112. case '\r':
113. case '\n':
114. if (0 != mCollapseState)
115. mCollapseState = 1;
116. break;
117. default:
118. if (1 == mCollapseState)
119. buffer.append(' ');
120. mCollapseState = 2;
121. buffer.append(character);
122. }
123. }
124. }
125. }
126. }

htmlparser使用指南

(2010-04-13
10:23:07)

转载▼

需要做一个垂直搜索引擎，比较了nekohtml和htmlparser 的功能，尽管nekohtml在容错性、性能等方面的口碑好像比htmlparser好（htmlunit也用的是nekohtml），但感觉 nekohtml的测试用例和文档都比htmlparser都少，而且htmlparser基本上能够满足垂直搜索引擎页面处理分析的需求，因此先研究一下htmlparser的使用，有空再研究nekohtml和mozilla html parser的使用。    html的功能还是官方说得最为清楚，

HTML Parser is a Java library used to parse HTML in either a linear or nested fashion. Primarily used for transformation or extraction, it features filters, visitors, custom tags and easy to use JavaBeans. It is a fast, robust and well tested package.

The two fundamental use-cases that are handled by the parser are extraction and transformation(the syntheses use-case, where HTML pages are created from scratch, is better handled by other tools closer to the source of data). While prior versions concentrated
on data extraction from web pages, Version 1.4 of the HTMLParser has substantial improvements in the area of transforming web pages, with simplified tag creation and editing, and verbatim toHtml() method output.

研究的重点还是extraction的使用，有空再研究transformation的使用。

1、htmlparser对html页面处理的数据结构

如图所示，HtmlParser采用了经典的Composite模式，通过RemarkNode、TextNode、TagNode、AbstractNode和Tag来描述HTML页面各元素。

• org.htmlparser.Node：

Node接口定义了进行树形结构节点操作的各种典型操作方法，包括：

节点到html文本、text文本的方法：toPlainTextString、toHtml

典型树形结构遍历的方法：getParent、getChildren、getFirstChild、getLastChild、getPreviousSibling、getNextSibling、getText

获取节点对应的树形结构结构的顶级节点Page对象方法：getPage

获取节点起始位置的方法：getStartPosition、getEndPosition

Visitor方法遍历节点时候方法：accept (NodeVisitor visitor)

Filter方法：collectInto (NodeList list, NodeFilter filter)

Object方法：toString、clone

• org.htmlparser.nodes.AbstractNode：

AbstractNode是形成HTML树形结构抽象基类，实现了Node接口。

在htmlparser中，Node分成三类：

RemarkNode：代表Html中的注释

TagNode：标签节点。

TextNode：文本节点

这三类节点都继承AbstractNode。

• org.htmlparser.nodes.TagNode：

TagNode包含了对HTML处理的核心的各个类，是所有TAG的基类，其中有分为包含其他TAG的复合节点ComositeTag和不包含其他TAG的叶子节点Tag。

复合节点CompositeTag：

AppletTag,BodyTag,Bullet,BulletList,DefinitionList,DefinitionListBullet,Div,FormTag,FrameSetTag,HeadingTag,

HeadTag,Html,LabelTag,LinkTag,ObjectTag,ParagraphTag,ScriptTag,SelectTag,Span,StyleTag,TableColumn,

TableHeader,TableRow,TableTag,TextareaTag,TitleTag

叶子节点TAG：

BaseHrefTag,DoctypeTag,FrameTag,ImageTag,InputTag,JspTag,MetaTag,ProcessingInstructionTag,

2、htmlparser对html页面处理的算法

主要是如下几种方式

• 采用Visitor方式访问Html

try {

Parser parser = new Parser();

parser.setURL(“http://www.google.com”);

parser.setEncoding(parser.getEncoding());

NodeVisitor visitor = new NodeVisitor() {

public void visitTag(Tag tag) {

logger.fatal(“testVisitorAll()  Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass());

}

};

parser.visitAllNodesWith(visitor);

} catch (ParserException e) {

e.printStackTrace();

}

• 采用Filter方式访问html

try {

NodeFilter filter = new NodeClassFilter(LinkTag.class);

Parser parser = new Parser();

parser.setURL(“http://www.google.com”);

parser.setEncoding(parser.getEncoding());

NodeList list = parser.extractAllNodesThatMatch(filter);

for (int i = 0; i < list.size(); i++) {

LinkTag node = (LinkTag) list.elementAt(i);

logger.fatal(“testLinkTag() Link is :” + node.extractLink());

}

} catch (Exception e) {

e.printStackTrace();

}

• 采用org.htmlparser.beans方式

另外htmlparser 还在org.htmlparser.beans中对一些常用的方法进行了封装，以简化操作，例如：

Parser parser = new Parser();

LinkBean linkBean = new LinkBean();

linkBean.setURL(“http://www.google.com”);

URL[] urls = linkBean.getLinks();

for (int i = 0; i < urls.length; i++) {

URL url = urls[i];

logger.fatal(“testLinkBean() -url  is :” + url);

}

3、htmlparser关键包结构说明

htmlparser其实核心代码并不多，好好研究一下其代码，弥补文档不足的问题。同时htmlparser的代码注释和单元测试用例还是很齐全的，也有助于了解htmlparser的用法。

3.1、org.htmlparser

定义了htmlparser的一些基础类。其中最为重要的是Parser类。

Parser是htmlparser的最核心的类，其构造函数提供了如下：Parser.createParser (String html, String charset)、 Parser ()、Parser (Lexer lexer, ParserFeedback fb)、Parser (URLConnection connection, ParserFeedback fb)、Parser (String resource, ParserFeedback feedback)、 Parser (String resource)

各构造函数的具体用法及含义可以查看其代码，很容易理解。

Parser常用的几个方法：

• elements获取元素

Parser parser = new Parser (“http://www.google.com”);

for (NodeIterator i = parser.elements (); i.hasMoreElements (); )

processMyNodes (i.nextNode ());

• parse (NodeFilter filter)：通过NodeFilter方式获取
• visitAllNodesWith (NodeVisitor visitor)：通过Nodevisitor方式
• extractAllNodesThatMatch (NodeFilter filter)：通过NodeFilter方式

3.2、org.htmlparser.beans

对Visitor和Filter的方法进行了封装，定义了针对一些常用html元素操作的bean，简化对常用元素的提取操作。

包括：FilterBean、HTMLLinkBean、HTMLTextBean、LinkBean、StringBean、BeanyBaby等。

3.3、org.htmlparser.nodes

定义了基础的node，包括：AbstractNode、RemarkNode、TagNode、TextNode等。

3.4、org.htmlparser.tags

定义了htmlparser的各种tag。

3.5、org.htmlparser.filters

定义了htmlparser所提供的各种filter，主要通过extractAllNodesThatMatch (NodeFilter filter)来对html页面指定类型的元素进行过滤，包括：AndFilter、CssSelectorNodeFilter、 HasAttributeFilter、HasChildFilter、HasParentFilter、HasSiblingFilter、 IsEqualFilter、LinkRegexFilter、LinkStringFilter、NodeClassFilter、
NotFilter、OrFilter、RegexFilter、StringFilter、TagNameFilter、XorFilter

3.6、org.htmlparser.visitors

定义了htmlparser所提供的各种visitor，主要通过visitAllNodesWith (NodeVisitor visitor)来对html页面元素进行遍历，包括：HtmlPage、LinkFindingVisitor、NodeVisitor、 ObjectFindingVisitor、StringFindingVisitor、TagFindingVisitor、 TextExtractingVisitor、UrlModifyingVisitor

3.7、org.htmlparser.parserapplications

定义了一些实用的工具，包括LinkExtractor、SiteCapturer、StringExtractor、WikiCapturer，这几个类也可以作为htmlparser使用样例。

3.8、org.htmlparser.tests

对各种功能的单元测试用例，也可以作为htmlparser使用的样例。

4、htmlparser的使用样例

import java.net.URL;

import junit.framework.TestCase;

import org.apache.log4j.Logger;

import org.htmlparser.Node;

import org.htmlparser.NodeFilter;

import org.htmlparser.Parser;

import org.htmlparser.Tag;

import org.htmlparser.beans.LinkBean;

import org.htmlparser.filters.NodeClassFilter;

import org.htmlparser.filters.OrFilter;

import org.htmlparser.filters.TagNameFilter;

import org.htmlparser.tags.HeadTag;

import org.htmlparser.tags.ImageTag;

import org.htmlparser.tags.InputTag;

import org.htmlparser.tags.LinkTag;

import org.htmlparser.tags.OptionTag;

import org.htmlparser.tags.SelectTag;

import org.htmlparser.tags.TableColumn;

import org.htmlparser.tags.TableRow;

import org.htmlparser.tags.TableTag;

import org.htmlparser.tags.TitleTag;

import org.htmlparser.util.NodeIterator;

import org.htmlparser.util.NodeList;

import org.htmlparser.util.ParserException;

import org.htmlparser.visitors.HtmlPage;

import org.htmlparser.visitors.NodeVisitor;

import org.htmlparser.visitors.ObjectFindingVisitor;

public class ParserTestCase extends TestCase {

private static final Logger logger = Logger.getLogger(ParserTestCase.class);

public ParserTestCase(String name) {

super(name);

}



public void testImageVisitor() {

try {

ImageTag imgLink;

ObjectFindingVisitor visitor = new ObjectFindingVisitor(

ImageTag.class);

Parser parser = new Parser();

parser.setURL(“http://www.google.com”);

parser.setEncoding(parser.getEncoding());

parser.visitAllNodesWith(visitor);

Node[] nodes = visitor.getTags();

for (int i = 0; i < nodes.length; i++) {

imgLink = (ImageTag) nodes[i];

logger.fatal(“testImageVisitor() ImageURL = ”

+ imgLink.getImageURL());

logger.fatal(“testImageVisitor() ImageLocation = ”

+ imgLink.extractImageLocn());

logger.fatal(“testImageVisitor() SRC = ”

+ imgLink.getAttribute(“SRC”));

}

}

catch (Exception e) {

e.printStackTrace();

}

}



public void testNodeFilter() {

try {

NodeFilter filter = new TagNameFilter(“IMG”);

Parser parser = new Parser();

parser.setURL(“http://www.google.com”);

parser.setEncoding(parser.getEncoding());

NodeList list = parser.extractAllNodesThatMatch(filter);

for (int i = 0; i < list.size(); i++) {

logger.fatal(“testNodeFilter() ” + list.elementAt(i).toHtml());

}

} catch (Exception e) {

e.printStackTrace();

}

}



public void testLinkTag() {

try {

NodeFilter filter = new NodeClassFilter(LinkTag.class);

Parser parser = new Parser();

parser.setURL(“http://www.google.com”);

parser.setEncoding(parser.getEncoding());

NodeList list = parser.extractAllNodesThatMatch(filter);

for (int i = 0; i < list.size(); i++) {

LinkTag node = (LinkTag) list.elementAt(i);

logger.fatal(“testLinkTag() Link is :” + node.extractLink());

}

} catch (Exception e) {

e.printStackTrace();

}

}



public void testLinkCSS() {

try {

Parser parser = new Parser();

parser

.setInputHTML(“<head><title>Link Test</title>”

+ “<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “</head>” + “<body>”);

parser.setEncoding(parser.getEncoding());

NodeList nodeList = null;

for (NodeIterator e = parser.elements(); e.hasMoreNodes();) {

Node node = e.nextNode();

logger

.fatal(“testLinkCSS()” + node.getText()

+ node.getClass());

}

} catch (Exception e) {

e.printStackTrace();

}

}



public void testOrFilter() {

NodeFilter inputFilter = new NodeClassFilter(InputTag.class);

NodeFilter selectFilter = new NodeClassFilter(SelectTag.class);

Parser myParser;

NodeList nodeList = null;

try {

Parser parser = new Parser();

parser

.setInputHTML(“<head><title>OrFilter Test</title>”

+ “<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “</head>”

+ “<body>”

+ “<input type=’text’ value=’text1′ name=’text1′/>”

+ “<input type=’text’ value=’text2′ name=’text2′/>”

+ “<select><option id=’1′>1</option><option id=’2′>2</option><option id=’3′></option></select>”

+ “<a href=’http://www.yeeach.com’>yeeach.com</a>”

+ “</body>”);

parser.setEncoding(parser.getEncoding());

OrFilter lastFilter = new OrFilter();

lastFilter.setPredicates(new NodeFilter[] { selectFilter,

inputFilter });

nodeList = parser.parse(lastFilter);

for (int i = 0; i <= nodeList.size(); i++) {

if (nodeList.elementAt(i) instanceof InputTag) {

InputTag tag = (InputTag) nodeList.elementAt(i);

logger.fatal(“OrFilter tag name is :” + tag.getTagName()

+ ” ,tag value is:” + tag.getAttribute(“value”));

}

if (nodeList.elementAt(i) instanceof SelectTag) {

SelectTag tag = (SelectTag) nodeList.elementAt(i);

NodeList list = tag.getChildren();

for (int j = 0; j < list.size(); j++) {

OptionTag option = (OptionTag) list.elementAt(j);

logger

.fatal(“OrFilter Option”

+ option.getOptionText());

}

}

}

} catch (ParserException e) {

e.printStackTrace();

}

}



public void testTable() {

Parser myParser;

NodeList nodeList = null;

myParser = Parser.createParser(“<body> ” + “<table id=’table1′ >”

+ “<tr><td>1-11</td><td>1-12</td><td>1-13</td>”

+ “<tr><td>1-21</td><td>1-22</td><td>1-23</td>”

+ “<tr><td>1-31</td><td>1-32</td><td>1-33</td></table>”

+ “<table id=’table2′ >”

+ “<tr><td>2-11</td><td>2-12</td><td>2-13</td>”

+ “<tr><td>2-21</td><td>2-22</td><td>2-23</td>”

+ “<tr><td>2-31</td><td>2-32</td><td>2-33</td></table>”

+ “</body>”, “GBK”);

NodeFilter tableFilter = new NodeClassFilter(TableTag.class);

OrFilter lastFilter = new OrFilter();

lastFilter.setPredicates(new NodeFilter[] { tableFilter });

try {

nodeList = myParser.parse(lastFilter);

for (int i = 0; i <= nodeList.size(); i++) {

if (nodeList.elementAt(i) instanceof TableTag) {

TableTag tag = (TableTag) nodeList.elementAt(i);

TableRow[] rows = tag.getRows();

for (int j = 0; j < rows.length; j++) {

TableRow tr = (TableRow) rows[j];

TableColumn[] td = tr.getColumns();

for (int k = 0; k < td.length; k++) {

logger.fatal(“<td>” + td[k].toPlainTextString());

}

}

}

}

} catch (ParserException e) {

e.printStackTrace();

}

}



public void testVisitorAll() {

try {

Parser parser = new Parser();

parser.setURL(“http://www.google.com”);

parser.setEncoding(parser.getEncoding());

NodeVisitor visitor = new NodeVisitor() {

public void visitTag(Tag tag) {

logger.fatal(“testVisitorAll()  Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass());

}

};

parser.visitAllNodesWith(visitor);

} catch (ParserException e) {

e.printStackTrace();

}

}



public void testTagVisitor() {

try {

Parser parser = new Parser(

“<head><title>dddd</title>”

+ “<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />”

+ “</head>” + “<body>”

+ “<a href=’http://www.yeeach.com’>yeeach.com</a>”

+ “</body>”);

NodeVisitor visitor = new NodeVisitor() {

public void visitTag(Tag tag) {

if (tag instanceof HeadTag) {

logger.fatal(“visitTag() HeadTag : Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass() + “\n Text is :”

+ tag.getText());

} else if (tag instanceof TitleTag) {

logger.fatal(“visitTag() TitleTag : Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass() + “\n Text is :”

+ tag.getText());

} else if (tag instanceof LinkTag) {

logger.fatal(“visitTag() LinkTag : Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass() + “\n Text is :”

+ tag.getText() + ” \n getAttribute is :”

+ tag.getAttribute(“href”));

} else {

logger.fatal(“visitTag() : Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass() + “\n Text is :”

+ tag.getText());

}

}

};

parser.visitAllNodesWith(visitor);

} catch (Exception e) {

e.printStackTrace();

}

}



public void testHtmlPage() {

String inputHTML = “<html>” + “<head>”

+ “<title>Welcome to the HTMLParser website</title>”

+ “</head>” + “<body>” + “Welcome to HTMLParser”

+ “<table id=’table1′ >”

+ “<tr><td>1-11</td><td>1-12</td><td>1-13</td>”

+ “<tr><td>1-21</td><td>1-22</td><td>1-23</td>”

+ “<tr><td>1-31</td><td>1-32</td><td>1-33</td></table>”

+ “<table id=’table2′ >”

+ “<tr><td>2-11</td><td>2-12</td><td>2-13</td>”

+ “<tr><td>2-21</td><td>2-22</td><td>2-23</td>”

+ “<tr><td>2-31</td><td>2-32</td><td>2-33</td></table>”

+ “</body>” + “</html>”;

Parser parser = new Parser();

try {

parser.setInputHTML(inputHTML);

parser.setEncoding(parser.getURL());

HtmlPage page = new HtmlPage(parser);

parser.visitAllNodesWith(page);

logger.fatal(“testHtmlPage -title is :” + page.getTitle());

NodeList list = page.getBody();

for (NodeIterator iterator = list.elements(); iterator

.hasMoreNodes();) {

Node node = iterator.nextNode();

logger.fatal(“testHtmlPage -node  is :” + node.toHtml());

}

} catch (ParserException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}



public void testLinkBean() {

Parser parser = new Parser();

LinkBean linkBean = new LinkBean();

linkBean.setURL(“http://www.google.com”);

URL[] urls = linkBean.getLinks();

for (int i = 0; i < urls.length; i++) {

URL url = urls[i];

logger.fatal(“testLinkBean() -url  is :” + url);

}

}

}

5、相关的项目

nekohtml ：评价比htmlparser好，把html正规化标准的xml文档，用xerces处理，但文档较少。

mozilla htmlparser：http://www.dapper.net/网站采用的html解析器，开源了，基于mozilla的解析器，值得研究一下。

http://jerichohtml.sourceforge.net/

http://htmlcleaner.sourceforge.net/

http://html.xamjwg.org/cobra.jsp

http://jrex.mozdev.org/

https://xhtmlrenderer.dev.java.net

其他一些html parser可以参考相关的汇总文章：

http://www.manageability.org/blog/stuff/screen-scraping-tools-written-in-java/view

http://java-source.net/open-source/html-parsers

http://www.open-open.com/30.htm

6、参考文档

http://www.blogjava.net/lostfire/archive/2006/07/02/56212.html

http://blog.csdn.net/scud/archive/2005/08/11/451397.aspx

http://chasethedevil.blogspot.com/2006/05/java-html-parsing-example-with.html

http://javaboutique.internet.com/tutorials/HTMLParser/

HTMLParser使用详解（4）- 通过Visitor访问内容

(2010-04-12 17:24:42)

转载▼

HTMLParser遍历了网页的内容以后，以树（森林）结构保存了结果。HTMLParser访问结果内容的方法有两种。使用Filter和使用Visitor。

下面介绍使用Visitor访问内容的方法。



4.1 NodeVisitor

从简单方面的理解，Filter是根据某种条件过滤取出需要的Node再进行处理。Visitor则是遍历内容树的每一个节点，对于符合条件的节点进行处理。实际的结果异曲同工，两种不同的方法可以达到相同的结果。

下面是一个最常见的NodeVisitro的例子。

测试代码：

    public static void main(String[] args) {

        try{

            Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection() );



            NodeVisitor visitor = new NodeVisitor( false, false ) {

                public void visitTag(Tag tag) {

                   message("This is Tag:"+tag.getText());

                }

                public void visitStringNode (Text string)    {

                     message("This is Text:"+string);

                }

                public void visitRemarkNode (Remark remark)  {

                     message("This is Remark:"+remark.getText());

                }

                public void beginParsing () {

                    message("beginParsing");

                }

                public void visitEndTag (Tag tag){

                    message("visitEndTag:"+tag.getText());

                }

                public void finishedParsing () {

                    message("finishedParsing");

                }

            };



            parser.visitAllNodesWith(visitor);

        }

        catch( Exception e ) {    

            e.printStackTrace();

        }

    }

输出结果：

beginParsing

This is Tag:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"

This is Text:Txt (121[0,121],123[1,0]): \n

This is Text:Txt (244[1,121],246[2,0]): \n

finishedParsing



可以看到，开始遍历所以的节点以前，beginParsing先被调用，然后处理的是中间的Node，最后在结束遍历以前，finishParsing被调用。因为我设置的 recurseChildren和recurseSelf都是false，所以Visitor没有访问子节点也没有访问根节点的内容。中间输出的两个\n就是我们在HTMLParser使用详解（1）-
初始化Parser 中讨论过的最高层的那两个换行。



我们先把recurseSelf设置成true，看看会发生什么。

NodeVisitor visitor = new NodeVisitor( false, true) {

输出结果：

beginParsing

This is Tag:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"

This is Text:Txt (121[0,121],123[1,0]): \n

This is Tag:head

This is Text:Txt (244[1,121],246[2,0]): \n

This is Tag:html xmlns="http://www.w3.org/1999/xhtml"

finishedParsing

可以看到，HTML页面的第一层节点都被调用了。



我们再用下面的方法调用看看：

NodeVisitor visitor = new NodeVisitor( true, false) {

输出结果：

beginParsing

This is Tag:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"

This is Text:Txt (121[0,121],123[1,0]): \n

This is Tag:meta http-equiv="Content-Type" content="text/html; charset=gb2312"

This is Text:Txt (204[1,81],229[1,106]): 白泽居-title-www.baizeju.com

visitEndTag:/title

visitEndTag:/head

This is Text:Txt (244[1,121],246[2,0]): \n

This is Text:Txt (289[2,43],291[3,0]): \n

This is Text:Txt (298[3,7],300[4,0]): \n

This is Text:Txt (319[4,19],322[5,1]): \n\t

This is Text:Txt (342[5,21],346[6,2]): \n\t\t

This is Remark:这是注释 白泽居-www.baizeju.com

This is Text:Txt (378[6,34],408[8,0]): \n\t\t白泽居-字符串1-www.baizeju.com\n

This is Text:Txt (441[8,33],465[8,57]): 白泽居-链接文本-www.baizeju.com

visitEndTag:/a

This is Text:Txt (469[8,61],472[9,1]): \n\t

visitEndTag:/div

This is Text:Txt (478[9,7],507[11,0]): \n\t白泽居-字符串2-www.baizeju.com\n

visitEndTag:/div

This is Text:Txt (513[11,6],515[12,0]): \n

visitEndTag:/body

This is Text:Txt (522[12,7],524[13,0]): \n

visitEndTag:/html

finishedParsing

可以看到，所有的子节点都出现了，除了刚刚例子里面的两个最上层节点This is Tag:head和This is Tag:html xmlns="http://www.w3.org/1999/xhtml"。



想让它们都出来，只需要

NodeVisitor visitor = new NodeVisitor( true, true) {

输出结果：

beginParsing

This is Tag:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"

This is Text:Txt (121[0,121],123[1,0]): \n

This is Tag:head

This is Tag:meta http-equiv="Content-Type" content="text/html; charset=gb2312"

This is Tag:title

This is Text:Txt (204[1,81],229[1,106]): 白泽居-title-www.baizeju.com

visitEndTag:/title

visitEndTag:/head

This is Text:Txt (244[1,121],246[2,0]): \n

This is Tag:html xmlns="http://www.w3.org/1999/xhtml"

This is Text:Txt (289[2,43],291[3,0]): \n

This is Tag:body

This is Text:Txt (298[3,7],300[4,0]): \n

This is Tag:div id="top_main"

This is Text:Txt (319[4,19],322[5,1]): \n\t

This is Tag:div id="logoindex"

This is Text:Txt (342[5,21],346[6,2]): \n\t\t

This is Remark:这是注释 白泽居-www.baizeju.com

This is Text:Txt (378[6,34],408[8,0]): \n\t\t白泽居-字符串1-www.baizeju.com\n

This is Tag:a href="http://www.baizeju.com"

This is Text:Txt (441[8,33],465[8,57]): 白泽居-链接文本-www.baizeju.com

visitEndTag:/a

This is Text:Txt (469[8,61],472[9,1]): \n\t

visitEndTag:/div

This is Text:Txt (478[9,7],507[11,0]): \n\t白泽居-字符串2-www.baizeju.com\n

visitEndTag:/div

This is Text:Txt (513[11,6],515[12,0]): \n

visitEndTag:/body

This is Text:Txt (522[12,7],524[13,0]): \n

visitEndTag:/html

finishedParsing

哈哈，这下调用清楚了，大家在需要处理的地方增加自己的代码好了。





4.2 其他Visitor

HTMLParser还定义了几个其他的Visitor。HtmlPage，NodeVisitor，ObjectFindingVisitor，StringFindingVisitor，TagFindingVisitor，TextExtractingVisitor，UrlModifyingVisitor，它们都是NodeVisitor的子类，实现了一些特定的功能。笔者个人的感觉是没什么用处，如果你需要什么特定的功能，还不如自己写一个，想在这些里面找到适合你需要的，化的时间可能更多。反正大家看看代码就发现，它们每个都没几行真正有效的代码。

HTMLParser使用详解（1）- 初始化Parser

(2010-04-12 17:23:35)

转载▼

标签： it

分类： 搜索引擎

在研究搜索引擎的开发中，对于HTML网页的处理是核心的一个环节。网上有很多开源的代码，对于Java来说，HTMLParser是比较著名并且得到广泛应用的一个。HTMLParser的主页是http://htmlparser.sourceforge.net/，最后的更新是2006年9月的1.6版。不过没关系，HTML的内容已经很久没有大的变化了，HTMLParser处理起来基本没有任何问题。HTMLParser具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现HTMLParser的结构设计很巧妙，非常实用，基本你的各种需求都可以满足。

    这里我根据自己这几个月来的经验，写了一点入门的东西，希望能对新学习HTMLParser的朋友们有所帮助。（不过当年高考本人语文只比及格高一分，所以文法方面的问题还希望大家多多担待）

   

    HTMLParser的核心模块是org.htmlparser.Parser类，这个类实际完成了对于HTML页面的分析工作。这个类有下面几个构造函数：

    public Parser ();

    public Parser (Lexer lexer, ParserFeedback fb);

    public Parser (URLConnection connection, ParserFeedback fb) throws ParserException;

    public Parser (String resource, ParserFeedback feedback) throws ParserException;

    public Parser (String resource) throws ParserException;

    public Parser (Lexer lexer);

    public Parser (URLConnection connection) throws ParserException;

    和一个静态类 public static Parser createParser (String html, String charset);



    对于大多数使用者来说，使用最多的是通过一个URLConnection或者一个保存有网页内容的字符串来初始化Parser，或者使用静态函数来生成一个Parser对象。ParserFeedback的代码很简单，是针对调试和跟踪分析过程的，一般不需要改变。而使用Lexer则是一个相对比较高级的话题，放到以后再讨论吧。

    这里比较有趣的一点是，如果需要设置页面的编码方式的话，不使用Lexer就只有静态函数一个方法了。对于大多数中文页面来说，好像这是应该用得比较多的一个方法。



   下面是初始化Parser的例子。







package com.baizeju.htmlparsertester;

import java.io.BufferedReader;

import java.io.InputStreamReader;

import java.io.FileInputStream;

import java.io.File;

import java.net.HttpURLConnection;

import java.net.URL;



import org.htmlparser.visitors.TextExtractingVisitor;



import org.htmlparser.Parser;

 



public class Main {

    private static String ENCODE = "GBK";

    private static void message( String szMsg ) {

        try{ System.out.println(new String(szMsg.getBytes(ENCODE), System.getProperty("file.encoding"))); } catch(Exception e ){}

    }

    public static String openFile( String szFileName ) {

        try {

            BufferedReader bis = new BufferedReader(new InputStreamReader(new FileInputStream( new File(szFileName)), ENCODE) );

            String szContent="";

            String szTemp;

           

            while ( (szTemp = bis.readLine()) != null) {

                szContent+=szTemp+"\n";

            }

            bis.close();

            return szContent;

        }

        catch( Exception e ) {

            return "";

        }

    }

   

   public static void main(String[] args) {

       

        String szContent = openFile( "E:/My Sites/HTMLParserTester.html");

       

        try{

            //Parser parser = Parser.createParser(szContent, ENCODE);

            //Parser parser = new Parser( szContent );

            Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection()
);

       

            TextExtractingVisitor visitor = new TextExtractingVisitor();

            parser.visitAllNodesWith(visitor);

            String textInPage = visitor.getExtractedText();



            message(textInPage);

        }

        catch( Exception e ) {           

        }

    }

}

加重的部分测试了几种不同的初始化方法，后面的显示了结果。大家看到能Parser出内容就可以了，如何操作访问Parser的内容我们在后面讨论。

HTMLParser使用详解（2）- Node内容

(2010-04-12
17:22:06)

转载▼

标签： it

分类： 搜索引擎

HTMLParser将解析过的信息保存为一个树的结构。Node是信息保存的数据类型基础。

请看Node的定义：

public interface Node extends Cloneable;



Node中包含的方法有几类：

对于树型结构进行遍历的函数，这些函数最容易理解：

Node getParent ()：取得父节点

NodeList getChildren ()：取得子节点的列表

Node getFirstChild ()：取得第一个子节点

Node getLastChild ()：取得最后一个子节点

Node getPreviousSibling ()：取得前一个兄弟（不好意思，英文是兄弟姐妹，直译太麻烦而且不符合习惯，对不起女同胞了）

Node getNextSibling ()：取得下一个兄弟节点

取得Node内容的函数：

String getText ()：取得文本

String toPlainTextString()：取得纯文本信息。

String toHtml () ：取得HTML信息（原始HTML）

String toHtml (boolean verbatim)：取得HTML信息（原始HTML）

String toString ()：取得字符串信息（原始HTML）

Page getPage ()：取得这个Node对应的Page对象

int getStartPosition ()：取得这个Node在HTML页面中的起始位置

int getEndPosition ()：取得这个Node在HTML页面中的结束位置

用于Filter过滤的函数：

void collectInto (NodeList list, NodeFilter filter)：基于filter的条件对于这个节点进行过滤，符合条件的节点放到list中。

用于Visitor遍历的函数：

void accept (NodeVisitor visitor)：对这个Node应用visitor

用于修改内容的函数，这类用得比较少：

void setPage (Page page)：设置这个Node对应的Page对象

void setText (String text)：设置文本

void setChildren (NodeList children)：设置子节点列表

其他函数：

void doSemanticAction ()：执行这个Node对应的操作（只有少数Tag有对应的操作）

Object clone ()：接口Clone的抽象函数。



实际我们用HTMLParser最多的是处理HTML页面，Filter或Visitor相关的函数是必须的，然后第一类和第二类函数是用得最多的。第一类函数比较容易理解，下面用例子说明一下第二类函数。

下面是用于测试的HTML文件：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-www.baizeju.com</title></head>

<html xmlns="http://www.w3.org/1999/xhtml">

<body >

<div id="top_main">

<div id="logoindex">

<!--这是注释-->

白泽居-www.baizeju.com

<a href="http://www.baizeju.com">白泽居-www.baizeju.com</a>

</div>

白泽居-www.baizeju.com

</div>

</body>

</html>



测试代码：





package com.baizeju.htmlparsertester;

import java.io.BufferedReader;

import java.io.InputStreamReader;

import java.io.FileInputStream;

import java.io.File;

import java.net.HttpURLConnection;

import java.net.URL;



import org.htmlparser.Node;

import org.htmlparser.util.NodeIterator;

import org.htmlparser.Parser;





public class Main {

private static String ENCODE = "GBK";

private static void message( String szMsg ) {

try{ System.out.println(new String(szMsg.getBytes(ENCODE), System.getProperty("file.encoding"))); } catch(Exception e ){}

}

public static String openFile( String szFileName ) {

try {

BufferedReader bis = new BufferedReader(new InputStreamReader(new FileInputStream( new File(szFileName)), ENCODE) );

String szContent="";

String szTemp;



while ( (szTemp = bis.readLine()) != null) {

szContent+=szTemp+"\n";

}

bis.close();

return szContent;

}

catch( Exception e ) {

return "";

}

}



public static void main(String[] args) {



try{

Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection() );



for (NodeIterator i = parser.elements (); i.hasMoreNodes(); ) {

Node node = i.nextNode();

message("getText:"+node.getText());

message("getPlainText:"+node.toPlainTextString());

message("toHtml:"+node.toHtml());

message("toHtml(true):"+node.toHtml(true));

message("toHtml(false):"+node.toHtml(false));

message("toString:"+node.toString());

message("=================================================");

}

}

catch( Exception e ) {

System.out.println( "Exception:"+e );

}

}

}



输出结果：

getText:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"

getPlainText:

toHtml:<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

toHtml(true):<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

toHtml(false):<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

toString:Doctype Tag : !DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd; begins at : 0; ends at : 121

=================================================

getText:



getPlainText:



toHtml:



toHtml(true):



toHtml(false):



toString:Txt (121[0,121],123[1,0]): \n

=================================================

getText:head

getPlainText:白泽居-www.baizeju.com

toHtml:<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-www.baizeju.com</title></head>

toHtml(true):<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-www.baizeju.com</title></head>

toHtml(false):<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-www.baizeju.com</title></head>

toString:HEAD: Tag (123[1,0],129[1,6]): head

Tag (129[1,6],197[1,74]): meta http-equiv="Content-Type" content="text/html; ...

Tag (197[1,74],204[1,81]): title

Txt (204[1,81],223[1,100]): 白泽居-www.baizeju.com

End (223[1,100],231[1,108]): /title

End (231[1,108],238[1,115]): /head



=================================================

getText:



getPlainText:



toHtml:



toHtml(true):



toHtml(false):



toString:Txt (238[1,115],240[2,0]): \n

=================================================

getText:html xmlns="http://www.w3.org/1999/xhtml"

getPlainText:









白泽居-www.baizeju.com

白泽居-www.baizeju.com



白泽居-www.baizeju.com







toHtml:<html xmlns="http://www.w3.org/1999/xhtml">

<body >

<div id="top_main">

<div id="logoindex">

<!--这是注释-->

白泽居-www.baizeju.com

<a href="http://www.baizeju.com">白泽居-www.baizeju.com</a>

</div>

白泽居-www.baizeju.com

</div>

</body>

</html>

toHtml(true):<html xmlns="http://www.w3.org/1999/xhtml">

<body >

<div id="top_main">

<div id="logoindex">

<!--这是注释-->

白泽居-www.baizeju.com

<a href="http://www.baizeju.com">白泽居-www.baizeju.com</a>

</div>

白泽居-www.baizeju.com

</div>

</body>

</html>

toHtml(false):<html xmlns="http://www.w3.org/1999/xhtml">

<body >

<div id="top_main">

<div id="logoindex">

<!--这是注释-->

白泽居-www.baizeju.com

<a href="http://www.baizeju.com">白泽居-www.baizeju.com</a>

</div>

白泽居-www.baizeju.com

</div>

</body>

</html>

toString:Tag (240[2,0],283[2,43]): html xmlns="http://www.w3.org/1999/xhtml"

Txt (283[2,43],285[3,0]): \n

Tag (285[3,0],292[3,7]): body

Txt (292[3,7],294[4,0]): \n

Tag (294[4,0],313[4,19]): div id="top_main"

Txt (313[4,19],316[5,1]): \n\t

Tag (316[5,1],336[5,21]): div id="logoindex"

Txt (336[5,21],340[6,2]): \n\t\t

Rem (340[6,2],351[6,13]): 这是注释

Txt (351[6,13],376[8,0]): \n\t\t白泽居-www.baizeju.com\n

Tag (376[8,0],409[8,33]): a href="http://www.baizeju.com"

Txt (409[8,33],428[8,52]): 白泽居-www.baizeju.com

End (428[8,52],432[8,56]): /a

Txt (432[8,56],435[9,1]): \n\t

End (435[9,1],441[9,7]): /div

Txt (441[9,7],465[11,0]): \n\t白泽居-www.baizeju.com\n

End (465[11,0],471[11,6]): /div

Txt (471[11,6],473[12,0]): \n

End (473[12,0],480[12,7]): /body

Txt (480[12,7],482[13,0]): \n

End (482[13,0],489[13,7]): /html



=================================================





对于第一个Node的内容，对应的就是第一行<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">，这个比较好理解。

从这个输出结果中，也可以看出内容的树状结构。或者说是树林结构。在Page内容的第一层Tag，如DOCTYPE，head和html，分别形成了一个最高层的Node节点（很多人可能对第二个和第四个Node的内容有点奇怪。实际上这两个Node就是两个换行符号。HTMLParser把HTML页面内容中的所有换行，空格，Tab等都转换成了相应的Tag，所以就出现了这样的Node。虽然内容少但是级别高，呵呵）

getPlainTextString是把用户可以看到的内容都包含了。有趣的有两点，一是<head>标签中的Title内容是在plainText中的，可能在标题中可见的也算可见吧。另外就是象前面说的，HTML内容中的换行符什么的，也都成了plainText，这个逻辑上好像有点问题。



另外可能大家发现toHtml，toHtml(true)和toHtml(false)的结果没什么区别。实际也是这样的，如果跟踪HTMLParser的代码就可以发现，Node的子类是AbstractNode，其中实现了toHtml()的代码，直接调用toHtml(false)，而AbstractNode的三个子类RemarkNode，TagNode和TextNode中，toHtml(boolean verbatim)的实现中，都没有处理verbatim参数，所以三个函数的结果是一模一样的。如果你不需要实现你自己的什么特殊处理，简单使用toHtml就可以了。



HTML的Node类继承关系如下图（这个是从别的文章Copy的）：

AbstractNodes是Node的直接子类，也是一个抽象类。它的三个直接子类实现是RemarkNode，用于保存注释。在输出结果的toString部分中可以看到有一个"Rem (345[6,2],356[6,13]): 这是注释"，就是一个RemarkNode。TextNode也很简单，就是用户可见的文字信息。TagNode是最复杂的，包含了HTML语言中的所有标签，而且可以扩展（扩展
HTMLParser 对自定义标签的处理能力）。TagNode包含两类，一类是简单的Tag，实际就是不能包含其他Tag的标签，只能做叶子节点。另一类是CompositeTag，就是可以包含其他Tag，是分支节点。

HTMLParser使用详解（3）- 通过Filter访问内容

(2010-04-12 17:20:49)

转载▼

htmlparser对html页面处理的算法

(2010-04-09 17:35:17)

转载▼

主要是如下几种方式

采用Visitor方式访问Html

try {

Parser parser = new Parser();

parser.setURL(”http://www.google.com”);

parser.setEncoding(parser.getEncoding());

NodeVisitor visitor = new NodeVisitor() {

public void visitTag(Tag tag) {

System.out.println (”testVisitorAll()  Tag name is :”

+ tag.getTagName() + ” \n Class is :”

+ tag.getClass());

}

};

parser.visitAllNodesWith(visitor);

} catch (ParserException e) {

e.printStackTrace();

}

采用Filter方式访问html

try {

NodeFilter filter = new NodeClassFilter(LinkTag.class);

Parser parser = new Parser();

parser.setURL(”http://www.google.com”);

parser.setEncoding(parser.getEncoding());

NodeList list = parser.extractAllNodesThatMatch(filter);

for (int i = 0; i < list.size(); i++) {

LinkTag node = (LinkTag) list.elementAt(i);

System.out.println(”testLinkTag() Link is :” + node.extractLink());

}

} catch (Exception e) {

e.printStackTrace();

}

采用org.htmlparser.beans方式

另外htmlparser 还在org.htmlparser.beans中对一些常用的方法进行了封装，以简化操作，例如：

Parser parser = new Parser();

LinkBean linkBean = new LinkBean();

linkBean.setURL(”http://www.google.com”);

URL[] urls = linkBean.getLinks();

for (int i = 0; i < urls.length; i++) {

URL url = urls[i];

System.out.println (”testLinkBean() -url  is :” + url);

}

Htmlparser关键包结构说明

htmlparser其实核心代码并不多，好好研究一下其代码，弥补文档不足的问题。同时htmlparser的代码注释和单元测试用例还是很齐全的，也有助于了解htmlparser的用法。

3.1、org.htmlparser

定义了htmlparser的一些基础类。其中最为重要的是Parser类。

Parser是htmlparser的最核心的类，其构造函数提供了如下：Parser.createParser
(String html, String charset)、Parser ()、Parser
(Lexer lexer, ParserFeedback fb)、Parser (URLConnection connection, ParserFeedback fb)、Parser
(String resource, ParserFeedback feedback)、 Parser (String resource)

各构造函数的具体用法及含义可以查看其代码，很容易理解。

Parser常用的几个方法：

•         elements获取元素

Parser parser = new Parser (”http://www.google.com”);

for (NodeIterator i = parser.elements (); i.hasMoreElements (); )

processMyNodes (i.nextNode ());

•       parse (NodeFilter filter)：通过NodeFilter方式获取

•       visitAllNodesWith (NodeVisitor visitor)：通过Nodevisitor方式

•       extractAllNodesThatMatch (NodeFilter filter)：通过NodeFilter方式

3.2、org.htmlparser.beans

对Visitor和Filter的方法进行了封装，定义了针对一些常用html元素操作的bean，简化对常用元素的提取操作。

包括：FilterBean、HTMLLinkBean、HTMLTextBean、LinkBean、StringBean、BeanyBaby等。

3.3、org.htmlparser.nodes

定义了基础的node，包括：AbstractNode、RemarkNode、TagNode、TextNode等。

3.4、org.htmlparser.tags

定义了htmlparser的各种tag。

3.5、org.htmlparser.filters

定义了htmlparser所提供的各种filter，主要通过extractAllNodesThatMatch (NodeFilter
filter)来对html页面指定类型的元素进行过滤，包括：AndFilter、CssSelectorNodeFilter、HasAttributeFilter、HasChildFilter、HasParentFilter、HasSiblingFilter、IsEqualFilter、LinkRegexFilter、LinkStringFilter、NodeClassFilter、NotFilter、OrFilter、RegexFilter、StringFilter、TagNameFilter、XorFilter

3.6、org.htmlparser.visitors

定义了htmlparser所提供的各种visitor，主要通过visitAllNodesWith (NodeVisitor
visitor)来对html页面元素进行遍历，包括：HtmlPage、LinkFindingVisitor、NodeVisitor、ObjectFindingVisitor、StringFindingVisitor、TagFindingVisitor、TextExtractingVisitor、UrlModifyingVisitor

3.7、org.htmlparser.parserapplications

定义了一些实用的工具，包括LinkExtractor、SiteCapturer、StringExtractor、WikiCapturer，这几个类也可以作为htmlparser使用样例。

3.8、org.htmlparser.tests

对各种功能的单元测试用例，也可以作为htmlparser使用的样例。

Htmlparser Filter 简要归纳

(2010-04-09 17:33:27)

转载▼