使用正向最大匹配算法實現中文分詞簡單模型-用trie樹實現

使用trie樹來構造字典。 構建詞庫。掃描詞庫匹配。

Trie樹 又稱爲字典樹。

Trie樹

當關鍵碼是可變長時,Trie樹是一種特別有用的索引結構。

 Trie樹的定義


Trie樹是一棵度 m ≥ 2 的樹,它的每一層分支不是靠整個關鍵碼的值來確定,而是由關鍵碼的一個分量來確定。

如下圖所示Trie樹,關鍵碼由英文字母組成。它包括兩類結點:元素結點和分支結點。元素結點包含整個key數據;分支結點有27個指針,其中有一個空白字符‘b’,用來終結關鍵碼;其它用來標識‘a’, ‘b’,..., ‘z’等26個英文字母。

在第0層,所有的關鍵碼根據它們第0位字符, 被劃分到互不相交的27個類中。

因此,root→brch.link[i] 指向一棵子Trie樹,該子Trie樹上所包含的所有關鍵碼都是以第 i 個英文字母開頭。

若 某一關鍵碼第 j 位字母在英文字母表中順序爲 i ( i = 0, 1, ?, 26 ), 則它在Trie樹的第 j 層分支結點中從第 i 個指針向下找第 j+1 位字母所在結點。當一棵子Trie樹上只有一個關鍵碼時,就由一個元素結點來代替。在這個結點中包含有關鍵碼,以及其它相關的信息,如對應數據對象的存放 地址等。

Trie樹的類定義:

const int MaxKeySize = 25; //關鍵碼最大位數

typedef struct { //關鍵碼類型
 char ch[MaxKeySize]; //關鍵碼存放數組
 int currentSize; //關鍵碼當前位數
} KeyType;

class TrieNode { //Trie樹結點類定義
 friend class Trie;
protected:
 enum { branch, element } NodeType; //結點類型
 union NodeType { //根據結點類型的兩種結構
  struct { //分支結點
   int num; //本結點關鍵碼個數
   TrieNode *link[27]; //指針數組
  } brch;
  struct { //元素結點
   KeyType key; //關鍵碼
   recordNode *recptr; //指向數據對象指針
  } elem;
 }
}

class Trie { //Trie樹的類定義
private:
 TrieNode *root, *current;
public:
 RecordNode* Search ( const keyType & );
 int Insert ( const KeyType & );
 int Delete ( const KeyType & );
}

 Trie樹的搜索

爲了在Trie樹上進行搜索,要求把關鍵碼分解成一些字符元素, 並根據這些字符向下進行分支。

函數 Search 設定 current = NULL, 表示不指示任何一個分支結點, 如果 current 指向一個元素結點 elem,則 current→elem.key 是 current 所指結點中的關鍵碼。

Trie樹的搜索算法:

RecordNode* Trie::Search ( const KeyType & x ) {
 k = x.key;
 concatenate ( k, ‘b’ );
 current = root;
 int i = 0; //掃描初始化
 while ( current != NULL && current→NodeType != element && i <= x.ch[i] ) {
  current = current→brch.link[ord (x.ch[i])];
  i = i++;
 };
 if ( current != NULL && current→NodeType == element && current→elem.key == x )
  return current→recptr;
 else
  return NULL;
}

經驗證,Trie樹的搜索算法在最壞情況下搜索的時間代價是 O(l)。其中, l 是Trie樹的層數(包括分支結點和元素結點在內)。

在用作索引時,Trie樹的所有結點都駐留在磁盤上。搜索時最多做 l 次磁盤存取。

當結點駐留在磁盤上時,不能使用C++的指針 (pointer) 類型, 因爲C++不允許指針的輸入 / 輸出。在結點中的 link 指針可改用整型(integer) 實現。

 在Trie樹上的插入和刪除

示例:插入關鍵碼bobwhite和bluejay。
a. 插入 x = bobwhite 時,首先搜索Trie樹尋找 bobwhite 所在的結點。
b. 如果找到結點, 並發現該結點的 link[‘o’] = NULL。x不在Trie樹中, 可以在該處插入。插入結果參看圖。
c. 插入 x = bluejay時,用Trie樹搜索算法可找到包含有 bluebird 的元素結點,關鍵碼bluebird 和 bluejay 是兩個不同的值,它們在第5個字母處不匹配。從 Trie樹沿搜索路徑,在第4層分支。插入結果參看圖。

在Trie樹上插入bobwhite和bluejay後的結果 :

示例:考慮在上圖所示Trie樹中刪除bobwhite。此時,只要將該結點link[‘o’]置爲0 (NULL)即可,Trie樹的其它部分不需要改變。

考 慮刪除 bluejay。刪除之後在標記爲δ3 的子Trie樹中只剩下一個關鍵碼,這表明可以刪去結點δ3 ,同時結點 ρ 向上移動一層。對結點δ2 和δ1 可以做同樣的工作,最後到達結點б。因爲以б 爲根的子Trie樹中有多個關鍵碼,所以它不能刪去,令該結點link[‘l’] = ρ即可。

爲便於Trie樹的刪除, 在每個分支結點中設置了一個 num 數據成員,它記載了結點中子女的數目。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章