lucene的中文分詞器

lucene的中文分詞器到現在還沒有好的解決辦法。下邊介紹了兩個lucene自己提供的分詞器和一個javaeye上的網友實現的分詞器。關於各個分詞器的不同見代碼中的print信息。直接運行得到console的輸出結果更容易對比不同。

package analyzer;

import java.io.Reader;
import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.StopFilter;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenFilter;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cjk.CJKAnalyzer;
import org.apache.lucene.analysis.cn.ChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.mira.lucene.analysis.IK_CAnalyzer;
import org.mira.lucene.analysis.MIK_CAnalyzer;

import com.sohospace.lucene.analysis.xanalyzer.XAnalyzer;
import com.sohospace.lucene.analysis.xanalyzer.XFactory;
import com.sohospace.lucene.analysis.xanalyzer.XTokenizer;
//中文分詞使用了Paoding的分詞技術，特表示感謝
public class TestCJKAnalyzer {
    private static String testString1 = "中華人民共和國在1949年建立，從此開始了新中國的偉大篇章";
    private static String testString2 = "比爾蓋茨從事餐飲業和服務業方面的工作";
    public static void testStandard(String testString) throws Exception{
        Analyzer analyzer = new StandardAnalyzer();      
        Reader r = new StringReader(testString);      
        StopFilter sf = (StopFilter) analyzer.tokenStream("", r);
        System.err.println("=====standard analyzer====");
        System.err.println("分析方法：默認沒有詞只有字");
        Token t;      
        while ((t = sf.next()) != null) {      
            System.out.println(t.termText());      
        }     
    }
    public static void testCJK(String testString) throws Exception{
        Analyzer analyzer = new CJKAnalyzer();      
        Reader r = new StringReader(testString);      
        StopFilter sf = (StopFilter) analyzer.tokenStream("", r);
        System.err.println("=====cjk analyzer====");
        System.err.println("分析方法:交叉雙字分割");
        Token t;      
        while ((t = sf.next()) != null) {      
            System.out.println(t.termText());      
        }     
    }
    public static void testChiniese(String testString) throws Exception{
        Analyzer analyzer = new ChineseAnalyzer();      
        Reader r = new StringReader(testString);      
        TokenFilter tf = (TokenFilter) analyzer.tokenStream("", r);
        System.err.println("=====chinese analyzer====");
        System.err.println("分析方法:基本等同StandardAnalyzer");
        Token t;      
        while ((t = tf.next()) != null) {      
            System.out.println(t.termText());      
        }     
    }
    public static void testPaoding(String testString) throws Exception{
        XAnalyzer analyzer = XFactory.getQueryAnalyzer();   
        Reader r = new StringReader(testString);   
        XTokenizer ts = (XTokenizer) analyzer.tokenStream("", r);   
        System.err.println("=====paoding analyzer====");
        System.err.println("分析方法:字典分詞,去掉停止詞。在字典不能匹配的情況下使用CJKAnalyzer的分割發。");
        Token t;   
        while ((t = ts.next()) != null) {   
           System.out.println(t.termText());   
        }   
    }
    public static void testJe(String testString) throws Exception{
//        Analyzer analyzer = new MIK_CAnalyzer();
        Analyzer analyzer = new IK_CAnalyzer();
        Reader r = new StringReader(testString); 
        TokenStream ts = (TokenStream)analyzer.tokenStream("", r);
        System.err.println("=====je analyzer====");
        System.err.println("分析方法:字典分詞,正反雙向搜索，具體不明");
        Token t;   
        while ((t = ts.next()) != null) {   
           System.out.println(t.termText());   
        }   
    }
    public static void main(String[] args) throws Exception{
//        String testString = testString1;
        String testString = testString1;
        System.out.println(testString);
        
        testStandard(testString);
        testCJK(testString);
        testPaoding(testString);
        
//        testChiniese(testString);
//        testJe(testString);
    }

}