倒排文件索引結構和搜索算法

設有兩篇文章12

文章1的內容爲:Tom lives in Guangzhou,I live in Guangzhou too.

文章2的內容爲:He once lived in Shanghai.

      

首先我們要取得這兩篇文章的關鍵詞:

a.我們現在有的是文章內容,即一個字符串,我們先要找出字符串中的所有單詞,即分詞。英文單詞由於用空格分隔。中文單詞間是連在一起的需要特殊的分詞處理(一元分詞,二元分詞,詞庫專業分詞)

b.文章中的“inonce too”等詞沒有什麼實際意義,中文中的“的”“是”等字通常也無具體含義,這些不代表概念的詞可以過濾掉

c.用戶通常希望查“He”時能把含“he”,“HE”的文章也找出來,所以所有單詞需要統一大小寫。

d.用戶通常希望查“live”時能把含“lives”,“lived”的文章也找出來,所以需要把“lives”,“lived”還原成“live//專門處理

e.文章中的標點符號通常不表示某種概念,也可以過濾掉

//以上在分詞解析處理時處理

 

經過上面處理後的關鍵字:

文章1[tom] [live] [guangzhou] [i] [live] [guangzhou]

文章2[he] [live] [shanghai]

 

2)以建立倒排索引。上面的對應關係是:“文章號”對“文章中所有關鍵詞”。倒排索引就是把上面的順序變成:“關鍵詞”對“擁有該關鍵詞的所有文章號”。文章12經過倒排後變成

關鍵詞   文章號

guangzhou 1

he         2

i           1

live       1,2

shanghai   2

tom         1

 

我們還需要知道兩種位置:

a)       字符位置,即記錄該詞是文章中第幾個字符(優點是關鍵詞亮顯時定位快);

b)      關鍵詞位置,即記錄該詞是文章中第幾個關鍵詞(優點是節約索引空間、詞組(phase)查詢快)

 

加上“出現頻率”和“出現位置”信息後,我們的索引結構變爲:

關鍵詞   文章號[出現頻率]   出現位置

guangzhou 1[2]               36

he       2[1]               1

i         1[1]               4

live      1[2],2[1]           252

shanghai 2[1]               3

tom      1[1]               1

 

live這行爲例我們說明一下該結構:live在文章1中出現了2次,文章2中出現了一次,它的出現位置爲“2,5,2”這表示什麼呢?我們需要結合文章號和出現頻率來分析,文章1中出現了2次,那麼“2,5”就表示live在文章1中出現的兩個位置,文章2中出現了一次,剩下的“2”就表示live是文章2中第2個關鍵字。

 

這就是索引結構中最核心的部分。我們注意到關鍵字是按字符順序排列的,可以用二元搜索算法快速定位關鍵詞。

 

將上面三列分別作爲詞典文件(Term Dictionary)、頻率文件(frequencies)、位置文件(positions)保存。其中詞典文件不僅保存有每個關鍵詞,還保留了指向頻率文件和位置文件的指針,通過指針可以找到該關鍵字的頻率信息和位置信息。

 

關於:field的概念,用於表達信息所在位置(如標題中,文章中,url中),在建索引中,該field信息也記錄在詞典文件中,每個關鍵詞都有一個field信息(因爲每個關鍵字一定屬於一個或多個field)

 

爲了減小索引文件的大小使用了壓縮技術。首先,對詞典文件中的關鍵詞進行了壓縮,關鍵詞壓縮爲<前綴長度,後綴>,例如:當前詞爲“阿拉伯語”,上一個詞爲“阿拉伯”,那麼“阿拉伯語”壓縮爲<3,語>。其次大量用到的是對數字的壓縮,數字只保存與上一個值的差值(這樣可以減小數字的長度,進而減少保存該數字需要的字節數)。例如當前文章號是16389(不壓縮要用3個字節保存),上一文章號是16382,壓縮後保存7(只用一個字節)。

 

下面我們可以通過對該索引的查詢來解釋一下爲什麼要建立索引。

假設要查詢單詞 live”,先對詞典二元查找、找到該詞,通過指向頻率文件的指針讀出所有文章號,然後返回結果。詞典通常非常小,因而,整個過程的時間是毫秒級的。

而用普通的順序匹配算法,不建索引,而是對所有文章的內容進行字符串匹配,這個過程將會相當緩慢,當文章數目很大時,時間往往是無法忍受的。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章