在之前的博客中，我有寫到《ElasticSearch學習，請先看這一篇（win_Elasticsearch）》，在裏面的第一句話，==Elasticsearch是一個基於Lucene的搜索服務。==那麼對於lucene，你有什麼看法？本篇對於lucene進行探討！
Lucene簡介
Lucene是一個全文搜索框架，而不是應用產品。因此它並不像http://www.baidu.com/ 或者google Desktop那麼拿來就能用，它只是提供了一種工具讓你能實現這些產品。
Lucene 是一種高性能、可伸縮的信息搜索（IR）庫，在 2000 年開源，最初由鼎鼎大名的 Doug Cutting 開發，是基於 Java 實現的高性能的開源項目。
Lucene 採用了基於倒排表的設計原理，可以非常高效地實現文本查找，在底層採用了分段的存儲模式，使它在讀寫時幾乎完全避免了鎖的出現，大大提升了讀寫性能。
Lucene能做什麼？
要回答這個問題，先要了解lucene的本質。實際上lucene的功能很單一，說到底，就是你給它若干個字符串，然後它爲你提供一個全文搜索服務，告訴你你要搜索的關鍵詞出現在哪裏。
知道了這個本質，你就可以發揮想象做任何符合這個條件的事情了。你可以把站內新聞都索引了，做個資料庫；你可以把一個數據庫表的若干個字段索引起來，那就不用再擔心因爲“%like%”而鎖表了；你也可以寫個自己的搜索引擎……
你該不該選擇lucene ？
下面給出一些測試數據，如果你覺得可以接受，那麼可以選擇。
測試一：250萬記錄，300M左右文本，生成索引380M左右，800線程下平均處理時間300ms。
測試二：37000記錄，索引數據庫中的兩個varchar字段，索引文件2.6M，800線程下平均處理時間1.5ms。
lucene的工作方式
lucene提供的服務實際包含兩部分：一入一出。所謂入是寫入，即將你提供的源（本質是字符串）寫入索引或者將其從索引中刪除；所謂出是讀出，即向用戶提供全文搜索服務，讓用戶可以通過關鍵詞定位源。
寫入流程 ：
源字符串首先經過analyzer處理，包括：分詞，分成一個個單詞；去除stopword（可選）。
將源中需要的信息加入Document的各個Field中，並把需要索引的Field索引起來，把需要存儲的Field存儲起來。
將索引寫入存儲器，存儲器可以是內存或磁盤。
讀出流程
用戶提供搜索關鍵詞，經過analyzer處理。
對處理後的關鍵詞搜索索引找出對應的Document。
用戶根據需要從找到的Document中提取需要的Field。
一些需要知道的概念
lucene用到一些概念，瞭解它們的含義，有利於下面的理解。
analyzer
Analyzer 是分析器，它的作用是把一個字符串按某種規則劃分成一個個詞語，並去除其中的無效詞語，這裏說的無效詞語是指英文中的“of”、 “the”，中文中的 “的”、“地”等詞語，這些詞語在文章中大量出現，但是本身不包含什麼關鍵信息，去掉有利於縮小索引文件、提高效率、提高命中率。
分詞的規則千變萬化，但目的只有一個：按語義劃分。這點在英文中比較容易實現，因爲英文本身就是以單詞爲單位的，已經用空格分開；而中文則必須以某種方法將連成一片的句子劃分成一個個詞語。具體劃分方法下面再詳細介紹，這裏只需瞭解分析器的概念即可。
document
用戶提供的源是一條條記錄，它們可以是文本文件、字符串或者數據庫表的一條記錄等等。一條記錄經過索引之後，就是以一個Document的形式存儲在索引文件中的。用戶進行搜索，也是以Document列表的形式返回。
field
一個Document可以包含多個信息域，例如一篇文章可以包含“標題”、“正文”、“最後修改時間”等信息域，這些信息域就是通過Field在Document中存儲的。
Field有兩個屬性可選：存儲和索引。通過存儲屬性你可以控制是否對這個Field進行存儲；通過索引屬性你可以控制是否對該Field進行索引。這看起來似乎有些廢話，事實上對這兩個屬性的正確組合很重要，下面舉例說明：
還是以剛纔的文章爲例子，我們需要對標題和正文進行全文搜索，所以我們要把索引屬性設置爲真，同時我們希望能直接從搜索結果中提取文章標題，所以我們把標題域的存儲屬性設置爲真，但是由於正文域太大了，我們爲了縮小索引文件大小，將正文域的存儲屬性設置爲假，當需要時再直接讀取文件；我們只是希望能從搜索解果中提取最後修改時間，不需要對它進行搜索，所以我們把最後修改時間域的存儲屬性設置爲真，索引屬性設置爲假。上面的三個域涵蓋了兩個屬性的三種組合，還有一種全爲假的沒有用到，事實上Field不允許你那麼設置，因爲既不存儲又不索引的域是沒有意義的。
term
term是搜索的最小單位，它表示文檔的一個詞語，term由兩部分組成：它表示的詞語和這個詞語所出現的field。
tocken
tocken是term的一次出現，它包含trem文本和相應的起止偏移，以及一個類型字符串。一句話中可以出現多次相同的詞語，它們都用同一個term表示，但是用不同的tocken，每個tocken標記該詞語出現的地方。
segment
添加索引時並不是每個document都馬上添加到同一個索引文件，它們首先被寫入到不同的小文件，然後再合併成一個大索引文件，這裏每個小文件都是一個segment。
lucene的結構
lucene包括core和sandbox兩部分，其中core是lucene穩定的核心部分，sandbox包含了一些附加功能，例如highlighter、各種分析器。
Lucene core有七個包：analysis，document，index，queryParser，search，store，util。
analysis
Analysis包含一些內建的分析器，例如按空白字符分詞的WhitespaceAnalyzer，添加了stopwrod過濾的StopAnalyzer，最常用的StandardAnalyzer。
document
Document包含文檔的數據結構，例如Document類定義了存儲文檔的數據結構，Field類定義了Document的一個域。
index
Index 包含了索引的讀寫類，例如對索引文件的segment進行寫、合併、優化的IndexWriter類和對索引進行讀取和刪除操作的 IndexReader類，這裏要注意的是不要被IndexReader這個名字誤導，以爲它是索引文件的讀取類，實際上刪除索引也是由它完成， IndexWriter只關心如何將索引寫入一個個segment，並將它們合併優化；IndexReader則關注索引文件中各個文檔的組織形式。
queryParser
QueryParser 包含了解析查詢語句的類，lucene的查詢語句和sql語句有點類似，有各種保留字，按照一定的語法可以組成各種查詢。 Lucene有很多種 Query類，它們都繼承自Query，執行各種特殊的查詢，QueryParser的作用就是解析查詢語句，按順序調用各種 Query類查找出結果。
search
Search包含了從索引中搜索結果的各種類，例如剛纔說的各種Query類，包括TermQuery、BooleanQuery等就在這個包裏。
store
Store包含了索引的存儲類，例如Directory定義了索引文件的存儲結構，FSDirectory爲存儲在文件中的索引，RAMDirectory爲存儲在內存中的索引，MmapDirectory爲使用內存映射的索引。
util
Util包含一些公共工具類，例如時間和字符串之間的轉換工具。
嗯，先到這吧，後續再補充！
