htmlparser lexer解析網頁源代碼

有時候我們在解析網頁源代碼時需要的不是整個頁面的源代碼，而是其中的文本內容，這時可以使用htmlparser這個開源工具來進行相應的操作。下面是一個例子，這個例子比較簡單，主要是理解這個工具中的一些類的作用：

public static String html2Text() {
		ConnectionManager manager;
		Lexer lexer;
		Node node;
		manager = Page.getConnectionManager();
		StringBuilder textSB = new StringBuilder();
		StringBuilder tagSB = new StringBuilder();
		StringBuilder remarkSB = new StringBuilder();
		//StringBuilder abstractSB = new StringBuilder();
		try {
			lexer = new Lexer(manager.openConnection("http://www.baidu.com"));
			while ((node = lexer.nextNode()) != null) {
				if (node instanceof TextNode) {
					textSB.append(node.toHtml());
				} else if (node instanceof TagNode) {
					tagSB.append(node.toHtml());
				} else if (node instanceof RemarkNode) {
					remarkSB.append(node.toHtml());
				} else if (node instanceof AbstractNode) {
					//abstractSB.append(node.toHtml());
				}
			}
			return textSB.toString() + "\r\n" + "--------" + tagSB.toString()
					+ "\r\n" + "--------" + remarkSB.toString() + "\r\n"
					+ "-------" 
					//+ abstractSB.toString()
					;
		} catch (Exception e) {
			throw new RuntimeException();
		}
	}

下面來分析一下這個工具中的一些主要的類：

ConnctionManger是進行連接網頁的一個類，Lexer可以通過構造函數傳遞一個URLConnection，這時就可以獲得網頁的內容，Lexer就像是一個包裝器，將網頁的內容包裝起來，然後可以通過Lexer中的方法進行網頁的內容獲取。Lexer的nextNode就是開始獲取網頁的節點了，返回的Node類被AbstractNode所實現，並且TextNode，TagNode，RemarkNode是AbstractNode的子類。TextNode是網頁中的所有文本節點，TagNode是網頁中的所有標籤節點，RemarkNode是網頁中的所有註釋節點。AbstractNode中提供了訪問網頁的開始位置和結束位置，子節點的父節點和子節點的list等方法。所以在TextNode，TagNode，RemarkNode中也可以使用這些方法來獲取相應的信息。