lucene索引並搜索mysql數據庫

由於對lucene比較感興趣，本人在網上找了點資料，終於成功地用lucene對mysql數據庫進行索引創建併成功搜索，先總結如下：

    首先介紹一個jdbc工具類，用於得到Connection對象：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
/**
* JdbcUtil.java
* @version 1.0
* @createTime JDBC獲取Connection工具類
*/
public class JdbcUtil {
    private static Connection conn = null;
    private static final String URL = "jdbc:mysql://127.0.0.1/project?autoReconnect=true&characterEncoding=utf8";
    private static final String JDBC_DRIVER = "com.mysql.jdbc.Driver";
    private static final String USER_NAME = "root";
    private static final String PASSWORD = "";

    public static Connection getConnection() {
        try {
            Class.forName(JDBC_DRIVER);
            conn = DriverManager.getConnection(URL, USER_NAME, PASSWORD);
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        } catch (SQLException e) {
            e.printStackTrace();
        }
        return conn;
    }
}

    然後就是本文的主要內容了，對數據庫信息進行索引與對索引進行搜索：

import java.io.File;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Field.TermVector;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.*;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;
import org.wltea.analyzer.lucene.IKAnalyzer;
import org.wltea.analyzer.lucene.IKSimilarity;

/**
* SearchLogic.java
* @version 1.0
* @createTime Lucene數據庫檢索
*/
public class SearchLogic {
    private static Connection conn = null;
    private static Statement stmt = null;
    private static  ResultSet rs = null;
    private String searchDir = "E:\\Test\\Index";
    private static File indexFile = null;
    private static Searcher searcher = null;
    private static Analyzer analyzer = null;
    /** 索引頁面緩衝 */
    private int maxBufferedDocs = 500;
    /**
    * 獲取數據庫數據
    * @return ResultSet
    * @throws Exception
    */
    public List<SearchBean> getResult(String queryStr) throws Exception {
        List<SearchBean> result = null;
        conn = JdbcUtil.getConnection();
        if(conn == null) {
            throw new Exception("數據庫連接失敗！");
        }
        String sql = "select id, username, password, type from account";
        try {
            stmt = conn.createStatement();
            rs = stmt.executeQuery(sql);
            this.createIndex(rs);   //給數據庫創建索引,此處執行一次，不要每次運行都創建索引，以後數據有更新可以後臺調用更新索引
            TopDocs topDocs = this.search(queryStr);
            ScoreDoc[] scoreDocs = topDocs.scoreDocs;
            result = this.addHits2List(scoreDocs);
        } catch(Exception e) {
            e.printStackTrace();
            throw new Exception("數據庫查詢sql出錯！ sql : " + sql);
        } finally {
            if(rs != null) rs.close();
            if(stmt != null) stmt.close();
            if(conn != null) conn.close();
        }
        return result;
    }

/**
* 爲數據庫檢索數據創建索引
* @param rs
* @throws Exception
*/
    private void createIndex(ResultSet rs) throws Exception {
        Directory directory = null;
        IndexWriter indexWriter = null;

        try {
            indexFile = new File(searchDir);
            if(!indexFile.exists()) {
                indexFile.mkdir();
            }
            directory = FSDirectory.open(indexFile);
            analyzer = new IKAnalyzer();

            indexWriter = new IndexWriter(directory, analyzer, true, IndexWriter.MaxFieldLength.UNLIMITED);
            indexWriter.setMaxBufferedDocs(maxBufferedDocs);
            Document doc = null;
            while(rs.next()) {
                doc = new Document();
                Field id = new Field("id", String.valueOf(rs.getInt("id")), Field.Store.YES, Field.Index.NOT_ANALYZED, TermVector.NO);
                Field username = new Field("username", rs.getString("username") == null ? "" : rs.getString("username"), Field.Store.YES,Field.Index.ANALYZED, TermVector.NO);
                doc.add(id);
                doc.add(username);
                indexWriter.addDocument(doc);
            }

            indexWriter.optimize();
            indexWriter.close();
        } catch(Exception e) {
            e.printStackTrace();
        }
    }

    /**
    * 搜索索引
    * @param queryStr
    * @return
    * @throws Exception
    */
    private TopDocs search(String queryStr) throws Exception {
        if(searcher == null) {
            indexFile = new File(searchDir);
            searcher = new IndexSearcher(FSDirectory.open(indexFile));
        }
        searcher.setSimilarity(new IKSimilarity());
        QueryParser parser = new QueryParser(Version.LUCENE_30,"username",new IKAnalyzer());
        Query query = parser.parse(queryStr);

        TopDocs topDocs = searcher.search(query, searcher.maxDoc());
        return topDocs;
    }

    /**
    * 返回結果並添加到List中
    * @param scoreDocs
    * @return
    * @throws Exception
    */
    private List<SearchBean> addHits2List(ScoreDoc[] scoreDocs ) throws Exception {
        List<SearchBean> listBean = new ArrayList<SearchBean>();
        SearchBean bean = null;
        for(int i=0 ; i<scoreDocs.length; i++) {
            int docId = scoreDocs[i].doc;
            Document doc = searcher.doc(docId);
            bean = new SearchBean();
            bean.setId(doc.get("id"));
            bean.setUsername(doc.get("username"));
            listBean.add(bean);
        }
        return listBean;
    }

    public static void main(String[] args) {
        SearchLogic logic = new SearchLogic();
        try {
            Long startTime = System.currentTimeMillis();
            List<SearchBean> result = logic.getResult("商家");
            int i = 0;
            for(SearchBean bean : result) {
                if(i == 10)
                    break;
                System.out.println("bean.name " + bean.getClass().getName() + " : bean.id " + bean.getId()+ " : bean.username " + bean.getUsername());
                i++;
            }

            System.out.println("searchBean.result.size : " + result.size());
            Long endTime = System.currentTimeMillis();
            System.out.println("查詢所花費的時間爲：" + (endTime-startTime)/1000);
        } catch (Exception e) {
            e.printStackTrace();
            System.out.println(e.getMessage());
        }
    }
}

    對了上面的類還用到了一個javabean類，如下：

public class SearchBean {
    private String id;
    private String username;
    public String getId() {
        return id;
    }
    public void setId(String id) {
        this.id = id;
    }
    public String getUsername() {
        return username;
    }
    public void setUsername(String username) {
        this.username = username;
    }
}

    這些代碼大部分都是我在網上找到的doc文檔中複製粘貼而來，本着“拿來主義”，我對這些代碼修改不大，經測試，這些代碼能夠正常運行。

    寫了幾篇博客，對lucene的使用方式也越來越清楚，在這裏也很有必要總結一下：

    使用lucene包括兩個步驟，分別是索引和搜索。

    •索引過程如下：
       ◦ 創建一個IndexWriter用來寫索引文件，它有幾個參數，INDEX_DIR就是索引文件所存放的位置，Analyzer便是用來對文檔進行詞法分析和語言處理的。
       ◦ 創建一個Document代表我們要索引的文檔。
       ◦ 將不同的Field加入到文檔中。我們知道，一篇文檔有多種信息，如題目，作者，修改時間，內容等。不同類型的信息用不同的Field來表示。
       ◦ IndexWriter調用函數addDocument將索引寫到索引文件夾中。
    •搜索過程如下：
       ◦ IndexReader將磁盤上的索引信息讀入到內存，INDEX_DIR就是索引文件存放的位置。
       ◦ 創建IndexSearcher準備進行搜索。
       ◦ 創建Analyer用來對查詢語句進行詞法分析和語言處理。
       ◦ 創建QueryParser用來對查詢語句進行語法分析。
       ◦ QueryParser調用parser進行語法分析，形成查詢語法樹，放到Query中。
       ◦ IndexSearcher調用search對查詢語法樹Query進行搜索，得到結果TopScoreDocCollector。

    對了，必須說一下，上面的例子還用到了一個新的jar包IKAnalyzer.jar包，它是一個開源的中文分詞器，如果不使用這個分詞器，那麼將無法解析中文，比如說我的第一篇關於Lucene的博客就無法解析中文字符串！