HTMLParser 使用详解
HTMLParser 具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现 HTMLParser 的结构设计很巧妙，非常实用，基本你的各种需求都可以满足。
这里我根据自己这几个月来的经验，写了一点入门的东西，希望能对新学习 HTMLParser 的朋友们有所帮助。（不过当年高考本人语文只比及格高一分，所以文法方面的问题还希望大家多多担待）
HTMLParser 的核心模块是 org.htmlparser.Parser 类， 这个类实际完成了对于 HTML 页面的分析工作 。这个类有下面几个构造函数：
public Parser ();
public Parser (Lexer lexer, ParserFeedback fb);
public Parser (URLConnection connection, ParserFeedback fb) throws ParserException;
public Parser (String resource, ParserFeedback feedback) throws ParserException;
public Parser (String resource) throws ParserException;
public Parser (Lexer lexer);
public Parser (URLConnection connection) throws ParserException;
和一个静态类 public static Parser createParser (String html, String charset);
对于大多数使用者来说，使用最多的是通过一个 URLConnection 或者一个保存有网页内容的字符串来初始化 Parser ，或者使用静态函数来生成一个 Parser 对象。 ParserFeedback 的代码很简单， 是针对调试和跟踪分析过程的 ，一般不需要改变。 而使用 Lexer 则是一个相对比较高级的话题 ，放到以后再讨论吧。
这里比较有趣的一点是， 如果需要设置页面的编码方式的话 ，不使用 Lexer 就只有静态函数一个方法了。对于大多数中文页面来说，好像这是应该用得比较多的一个方法。
下面是初始化 Parser 的例子。
package com.baizeju.htmlparsertester;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.io.FileInputStream;
import java.io.File;
import java.net.HttpURLConnection;
import java.net.URL;
import org.htmlparser.visitors.TextExtractingVisitor;
import org.htmlparser.Parser;
/**
* @author www.baizeju.com
*/
public class Main {
private static String ENCODE = "GBK";
private static void message( String szMsg ) {
try{System.out.println(new String(szMsg.getBytes(ENCODE), System.getProperty("file.encoding"))); } catch(Exception e ){}
}
public static String openFile( String szFileName ) {
try {
BufferedReader bis = new BufferedReader(new InputStreamReader(new FileInputStream( new File(szFileName)), ENCODE ) );
String szContent="";
String szTemp;
while ( (szTemp = bis.readLine()) != null) {
szContent+=szTemp+"\n";
}
bis.close();
return szContent;
}
catch( Exception e ) {
return "";
}
}
public static void main(String[] args) {
String szContent = openFile( "E:/My Sites/HTMLParserTester.html");
try{
//Parser parser = Parser.createParser(szContent, ENCODE);
//Parser parser = new Parser( szContent );
Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection() );
TextExtractingVisitor visitor = new TextExtractingVisitor ();
parser. visitAllNodesWith ( visitor );
String textInPage = visitor.getExtractedText();
message(textInPage);
}
catch( Exception e ) {
}
}
}
加重的部分测试了几种不同的初始化方法，后面的显示了结果。大家看到能 Parser 出内容就可以了，如何操作访问 Parser 的内容我们在后面讨论。
HTMLParser 将解析过的信息保存为一个树的结构。 Node 是信息保存的数据类型基础 。
请看 Node 的定义：
public interface Node extends Cloneable;
Node 中包含的方法有几类：
对于树型结构进行遍历的函数 ，这些函数最容易理解：
Node getParent () ： 取得父节点
NodeList getChildren () ： 取得子节点的列表
Node getFirstChild () ： 取得第一个子节点
Node getLastChild () ： 取得最后一个子节点
Node getPreviousSibling () ： 取得前一个兄弟（不好意思，英文是兄弟姐妹，直译太麻烦而且不符合习惯，对不起女同胞了）
Node getNextSibling () ： 取得下一个兄弟节点
取得 Node 内容的函数 ：
String getText () ： 取得文本
String toPlainTextString () ： 取得纯文本信息 。
String toHtml () ： 取得 HTML 信息（原始 HTML ）
String toHtml (boolean verbatim) ： 取得 HTML 信息（原始 HTML ）
String toString () ： 取得字符串信息（原始 HTML ）
Page getPage () ： 取得这个 Node 对应的 Page 对象
int getStartPosition () ： 取得这个 Node 在 HTML 页面中的起始位置
int getEndPosition () ： 取得这个 Node 在 HTML 页面中的结束位置
用于 Filter 过滤的函数：
void collectInto (NodeList list, NodeFilter filter) ： 基于 filter 的条件对于这个节点进行过滤，符合条件的节点放到 list 中。
用于 Visitor 遍历的函数：
void accept (NodeVisitor visitor) ： 对这个 Node 应用 visitor
用于修改内容的函数，这类用得比较少 ：
void setPage (Page page) ： 设置这个 Node 对应的 Page 对象
void setText (String text) ： 设置文本
void setChildren (NodeList children) ： 设置子节点列表
其他函数 ：
void doSemanticAction () ： 执行这个 Node 对应的操作（只有少数 Tag 有对应的操作）
Object clone () ： 接口 Clone 的抽象函数。
实际我们用 HTMLParser 最多的是处理 HTML 页面， Filter 或 Visitor 相关的函数是必须的，然后第一类和第二类函数是用得最多的。第一类函数比较容易理解，下面用例子说明一下第二类函数。
下面是用于测试的 HTML 文件：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title> 白泽居 -www.baizeju.com</title></head>
<html xmlns="http://www.w3.org/1999/xhtml">
<body >
<div id="top_main">
<div id="logoindex">
<!-- 这是注释 -->
白泽居 -www.baizeju.com
<a href="http://www.baizeju.com"> 白泽居 -www.baizeju.com</a>
</div>
白泽居 -www.baizeju.com
</div>
</body>
</html>
测试代码：
/**
* @author www.baizeju.com
*/
package com.baizeju.htmlparsertester;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.io.FileInputStream;
import java.io.File;
import java.net.HttpURLConnection;
import java.net.URL;
import org.htmlparser.Node;
import org.htmlparser.util.NodeIterator;
import org.htmlparser.Parser;
/**
* @author www.baizeju.com
*/
public class Main {
private static String ENCODE = " GBK ";
private static void message( String szMsg ) {
try{ System.out.println(new String(szMsg.getBytes(ENCODE), System.getProperty("file.encoding"))); } catch(Exception e ){}
}
public static String openFile ( String szFileName ) {
try {
BufferedReader bis = new BufferedReader(new InputStreamReader(new FileInputStream( new File(szFileName)), ENCODE) );
String szContent="";
String szTemp;
while ( (szTemp = bis.readLine()) != null) {
szContent+=szTemp+"\n";
}
bis.close();
return szContent;
}
catch( Exception e ) {
return "";
}
}
public static void main(String[] args) {
try{
Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection() );
for (NodeIterator i = parser.elements (); i.hasMoreNodes(); ) {
Node node = i.nextNode();
message("getText:"+node.getText());
message("getPlainText:"+node.toPlainTextString());
message("toHtml:"+node.toHtml());
message("toHtml(true):"+node.toHtml(true));
message("toHtml(false):"+node.toHtml(false));
message("toString:"+node.toString());
message("=================================================");
}
}
catch( Exception e ) {
System.out.println( "Exception:"+e );
}
}
}
输出结果：
getText:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"
getPlainText:
toHtml:<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
toHtml(true):<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
toHtml(false):<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
toString:Doctype Tag : !DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd; begins at : 0; ends at : 121
=================================================
getText:
getPlainText:
toHtml:
toHtml(true):
toHtml(false):