學習Xapian(2) – 拼寫校正

Xapian提供了拼寫校正功能,其基本算法就是編輯距離,只不過它支持UTF-8,也就是說是支持中文的。

1、建立拼寫校正辭典

雖然編輯距離的算法很土很原始,但是Xapian提供了方便的接口建立辭典,至少有如下兩種方式:
(1)Xapian::WritableDatabase.db.add_spelling(word, freq)
word就是正確的詞,freq是出現頻率,默認是1。
頻率的作用是這樣的,如果對於一個詞比如籃球和藍球,前者add了4次,後者出現了3詞,那麼當對”蘭球”進行拼寫糾正的時候,就會選擇多的那個即籃球。
(2)上面的add_spelling方法有點麻煩,如果把一個詞一個詞添加進去不是很麻煩……於是我們繼續借助TermGenerator.
首先Xapian::TermGenerator.set_database(db)
然後Xapian::TermGenerator.set_flags(FLAG_SPELLING)
之後,索引通過TermGenerator建索引的詞都會被加入到Spelling辭典中了!

2、使用辭典進行拼寫校正

現在我們有了辭典,如何進行拼寫校正呢,這是在Query階段完成的。
(1)打開Xapian::Database
(2)調用db.get_spelling_suggestion(word,dist = 2)就能獲得校正啦!如果沒有建議的校正,會返回一個空的字符串,這需要自己處理一下。dist是允許的最大編輯距離,默認是2.

總體來說,雖然編輯距離算法是最土的算法之一(相對與語義分析等高端技術),但對於一般的簡單檢索系統已經足夠了。更何況Xapian提供了強大、合理的接口,讓我們能很方便的建立起拼寫糾正辭典,這真的已經是很人性化的了。

源代碼:通過add_spelling,一個一個的建立起拼寫糾正辭典

#include <xapian.h> 
#include <iostream> 
using namespace std; 
#define CONTENT "70比 69, 這是 男籃 亞錦賽 歷史上 的 最小 分 差 比賽 , 笑 到 最後 的是 東道主 中國隊 。 可以說 , 這是 一次 最 驚險 的 勝利 ; 也可 以 說 , 這是 中國男籃 最 幸運 的 結局 。終 > 場 哨 響 , 中國隊 主教練 鄧 華德 和 籃管中心 副主任 胡 加時 緊緊擁抱 在一 起 , 兩人 都 激動 得 熱淚盈眶 —— 中國隊 贏了 , 贏得 很 慶幸 。" 
const char * SPELLS[3] = {"籃球", "藍球", "藍球"}; 
#define INDEX_PATH "./index_data" 
int main() 

try

//Text to be indexed 

string content(CONTENT); 

//Open an Database for write 

Xapian::WritableDatabase db(string(INDEX_PATH), Xapian::DB_CREATE_OR_OPEN); 

//Prepare TermGenerator, just split word by space, not chinese analysis 

Xapian::TermGenerator indexer; 

//Make Document 

Xapian::Document doc; 

doc.set_data(content); 

indexer.set_document(doc); 

indexer.index_text(content); 

//Add Document to db 

db.add_document(doc); 

//Make Spelling one by one 

for(int i=0; i<3; i++) 

db.add_spelling(string(SPELLS[i]), 1000); 

//Flush to disk 

db.commit(); 

catch(const Xapian::Error &e) 

cout << e.get_description() << endl; 

return 0; 

}


源代碼:通過TermGenerator方式建立起來的拼寫糾正

#相關代碼
#include <xapian.h> 
#include <iostream> 
using namespace std; 
#define CONTENT "70比 69, 這是 男籃 亞錦賽 歷史上 的 最小 分 差 比賽 , 笑 到 最後 的是 東道主 中國隊 。 可以說 , 這是 一次 最 驚險 的 勝利 ; 也可 以 說 , 這是 中國男籃 最 幸運 的 結局 。終 > 場 哨 響 , 中國隊 主教練 鄧 華德 和 籃管中心 副主任 胡 加時 緊緊擁抱 在一 起 , 兩人 都 激動 得 熱淚盈眶 —— 中國隊 贏了 , 贏得 很 慶幸 。 籃球 " 
#define INDEX_PATH "./index_data" 
int main() 

try

//Text to be indexed 

string content(CONTENT); 

//Open an Database for write 

Xapian::WritableDatabase db(string(INDEX_PATH), Xapian::DB_CREATE_OR_OPEN); 

//Prepare TermGenerator, just split word by space, not chinese analysis 

Xapian::TermGenerator indexer; 

//Set TermGenerator Database and SPELLING flag 

indexer.set_database(db); 

indexer.set_flags(indexer.FLAG_SPELLING); 

//Make Document 

Xapian::Document doc; 

doc.set_data(content); 

indexer.set_document(doc); 

indexer.index_text(content); 

//Add Document to db 

db.add_document(doc); 

//Flush to disk 

db.commit(); 

catch(const Xapian::Error &e) 

cout << e.get_description() << endl; 

return 0; 

}

源代碼:查詢時候獲取拼寫糾正結果

#include <xapian.h> 
#include <iostream> 
using namespace std; 
#define INDEX_PATH "./index_data" 
#define WORD "蘭球" 
int main() 

try

//Query 

string word(WORD); 

//Open an Database for read 

Xapian::Database db(string(INDEX_PATH)); 

//Ask for spelling suggestion 

cout << "Spelling suggestion for " << word << " is " << db.get_spelling_suggestion(string(word)) << endl; 

catch(const Xapian::Error &e) 

cout << e.get_description() << endl; 

return 0; 

}

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章