概率檢索模型

概率檢索模型是當前信息檢索領域效果最好的模型之一，它基於對已有反饋結果的分析，根據貝葉斯原理爲當前查詢排序。

我在之前的博客 樸素貝葉斯分類 中介紹瞭如何用樸素貝葉斯算法對數據進行分類，其實概率檢索模型的基本原理與樸素貝葉斯分類是一樣的。先回憶一下樸素貝葉斯算法的原理：對於測試元組X$X$ ，最終目的是要計算對於不同的類Ci$C_i$ ，計算後驗概率p(Ci|X)$p(C_i|X)$ ，哪個類最大，就屬於哪個類。而爲了計算p(Ci|X)$p(C_i|X)$ ，則需要用貝葉斯公式做如下分解：

p(Ci|X)=p(X|Ci)p(Ci)p(X)(10)$$\begin{array}{}\text{(10)}& p(C_i|X)=\frac{p(X|C_i)p(C_i)}{p(X)}\end{array}$$

因爲要比較大小，所以忽略p(X)$p(X)$ ，只需要考慮分子中的p(X|Ci)p(Ci)$p(X|C_i)p(C_i)$ ，其中p(Ci)$p(C_i)$ 可以通過抽樣得到，那麼問題轉化爲計算p(X|Ci)$p(X|C_i)$ ，p(X|Ci)$p(X|C_i)$ 代表X$X$ 在類Ci$C_i$ 中的概率。如果X$X$ 由n$n$ 個相互之間無關的屬性組成，那麼這個概率一般如下計算：

p(X|Ci)=∏j=1np(Xj|Ci)(11)$$\begin{array}{}\text{(11)}& p(X|C_i)=\prod _{j=1}^{n}p(X_j|C_i)\end{array}$$

其中Xj$X_j$ 爲測試元組的第j$j$ 個屬性值，如果屬性是離散屬性，那麼p(Xj|Ci)=|Xj||Ci|$p(X_j|C_i)=\frac{|X_j|}{|C_i|}$ ，其中|Xj||Ci|$\frac{|X_j|}{|C_i|}$ 表示類Ci$C_i$ 的數據元組中擁有屬性Xj$X_j$ 的概率。如果屬性是連續屬性呢，你自己看上面那篇博文，我這裏不說了。之所以說離散時的情況，是因爲本文後面要用。以上就是樸素貝葉斯分類法的原理，我大概複述一遍，方便理解後面要說的東西。

1. 基本思想

概率檢索模型與貝葉斯分類的思想非常接近，但還是有本質區別的。概率檢索模型的根本目的不是分類，它不需要根據查詢判斷一個文檔屬於“相關”或者“不相關”，而是計算這個文檔屬於屬於“相關”或者“不相關”的概率大小爲文檔排序。我將概率檢索模型要解決的問題刻畫如下。

問題模型：現在對於一個查詢q$q$ ，已知文檔集中哪些與q$q$ 是相關的（這類文檔的類標號記爲C1$C_1$ ），哪些與q$q$ 是不相關的（這類文檔的類標號記爲C0$C_0$ ）。概率檢索模型的核心是對於每一個文檔X$X$ 計算公式(1)，公式(1)計算出的α$\alpha$ 代表了文檔X$X$ 屬於“相關”類的概率與屬於“不相關”類的概率的比值（也叫“優勢比”）。顯然，這個比值越大，代表該文檔與查詢的相關度越大，因此我們就把α$\alpha$ 看做是相關度得分，最後通過α$\alpha$ 將文檔排序。

α=p(C1|X)p(C0|X)=p(X|C1)p(C1)p(X|C0)p(C0)(1)$$\begin{array}{}\text{(1)}& \alpha =\frac{p(C_1|X)}{p(C_0|X)}=\frac{p(X|C_1)p(C_1)}{p(X|C_0)p(C_0)}\end{array}$$

其中，p(C1|X)$p(C_1|X)$ 和p(C0|X)$p(C_0|X)$ 的計算過程如下：

p(C1|X)=p(X|C1)p(C1)p(X)p(C0|X)=p(X|C0)p(C0)p(X)(12)$$\begin{array}{}\text{(12)}& \begin{array}{rl}& p(C_1|X)=\frac{p(X|C_1)p(C_1)}{p(X)}\\ & p(C_0|X)=\frac{p(X|C_0)p(C_0)}{p(X)}\end{array}\end{array}$$

2. 推導過程

現在看看具體怎樣計算公式(1)。首先，p(C1)$p(C_1)$ 和p(C0)$p(C_0)$ 其實對於所有的文檔來說都是一樣的，因爲最終的目的是比較大小，所以我們忽略掉。α$\alpha$ 的計算可以簡寫成如下形式：

α=p(X|C1)p(X|C0)(2)$$\begin{array}{}\text{(2)}& \alpha =\frac{p(X|C_1)}{p(X|C_0)}\end{array}$$

接下來計算p(X|Ci)$p(X|C_i)$ 的方法就跟樸素貝葉斯中那個連乘的公式是一樣的了，但是有一點不同，用樸素貝葉斯做數據分類的時候，一般默認所有數據元組的屬性值都是存在的，而到了信息檢索這就不一樣了，我們知道文檔由詞項組成，而某一個詞項可能在某一個文檔中，也可能不在。

所以我們不妨記單詞wj$w_j$ 在類Ci$C_i$ 中隨機選擇的一篇文檔中出現的概率爲p(wj|Ci)$p(w_j|C_i)$ ；那麼單詞wj$w_j$ 不在類Ci$C_i$ 中隨機選擇的一篇文檔中出現的概率就是1−p(wj|Ci)$1-p(w_j|C_i)$ ，那麼記爲p(wj⎯⎯⎯⎯⎯⎯|Ci)$p(\overline{w_j}|C_i)$ 好了。

現在就可以將α$\alpha$ 的計算公式寫成如下形式：

α=∏wj∈Xp(wj|C1)∏wj∉Xp(wj⎯⎯⎯⎯⎯⎯|C1)∏wj∈Xp(wj|C0)∏wj∉Xp(wj⎯⎯⎯⎯⎯⎯|C0)(13)$$\begin{array}{}\text{(13)}& \alpha =\frac{\prod _{w_j\in X}p(w_j|C_1)\prod _{w_j\notin X}p(\overline{w_j}|C_1)}{\prod _{w_j\in X}p(w_j|C_0)\prod _{w_j\notin X}p(\overline{w_j}|C_0)}\end{array}$$

爲了方便推導，將p(wj|C1)$p(w_j|C_1)$ 記爲pj$p_j$ ，將p(wj|C0)$p(w_j|C_0)$ 記爲sj$s_j$ ，則α$\alpha$ 可以表示成下面的公式(3)：

α=∏wj∈Xpj∏wj∉X1−pj∏wj∈Xsj∏wj∉X1−sj(3)$$\begin{array}{}\text{(3)}& \alpha =\frac{\prod _{w_j\in X}{p}_j\prod _{w_j\notin X}1-p_j}{\prod _{w_j\in X}{s}_j\prod _{w_j\notin X}1-s_j}\end{array}$$

直接看公式(3)可能有點抽象，我舉個例子嘗試說明一下，假如文檔集的詞典爲{w1,w2,w3,w4}$\{w_1,w_2,w_3,w_4\}$ ，文檔1擁有的詞項爲{w1,w3}$\{w_1,w_3\}$ ，那麼文檔1的α$\alpha$ 值可以如下計算：

α=p1p3⋅(1−p2)(1−p4)s1s3⋅(1−s2)(1−s4)(14)$$\begin{array}{}\text{(14)}& \alpha =\frac{p_1{p}_3\cdot (1-p_2)(1-p_4)}{s_1{s}_3\cdot (1-s_2)(1-s_4)}\end{array}$$

現在，對公式(3)做一個數學上的等價變換，如下：

α=∏wj∈Xpj∏wj∉X1−pj∏wj∈Xsj∏wj∉X1−sj=∏wj∈Xpj∏wj∈Xsj⋅∏wj∉X1−pj∏wj∉X1−sj=(∏wj∈Xpj∏wj∈Xsj⋅∏wj∈X1−sj∏wj∈X1−pj)⋅(∏wj∈X1−pj∏wj∈X1−sj∏wj∉X1−pj∏wj∉X1−sj)=∏wj∈Xpj(1−sj)∏wj∈Xsj(1−pj)⋅∏1−pj∏1−sj(4)$$\begin{array}{}\text{(4)}& \begin{array}{rl}\alpha & =\frac{\prod _{w_j\in X}{p}_j\prod _{w_j\notin X}1-p_j}{\prod _{w_j\in X}{s}_j\prod _{w_j\notin X}1-s_j}=\frac{\prod _{w_j\in X}{p}_j}{\prod _{w_j\in X}{s}_j}\cdot \frac{\prod _{w_j\notin X}1-p_j}{\prod _{w_j\notin X}1-s_j}\\ & =(\frac{\prod _{w_j\in X}{p}_j}{\prod _{w_j\in X}{s}_j}\cdot \frac{\prod _{w_j\in X}1-s_j}{\prod _{w_j\in X}1-p_j})\cdot (\frac{\prod _{w_j\in X}1-p_j}{\prod _{w_j\in X}1-s_j}\frac{\prod _{w_j\notin X}1-p_j}{\prod _{w_j\notin X}1-s_j})\\ & =\frac{\prod _{w_j\in X}{p}_j(1-s_j)}{\prod _{w_j\in X}{s}_j(1-p_j)}\cdot \frac{\prod 1-p_j}{\prod 1-s_j}\end{array}\end{array}$$

其中pj$p_j$ 和sj$s_j$ 對於任意文檔來說都一樣，所以公式(4)的第二部分可以忽略，這也是我上面經過這麼複雜的公式計算的原因，就是要將文檔排序的比較依據化簡成

α=∏wj∈Xpj(1−sj)∏wj∈Xsj(1−pj)(15)$$\begin{array}{}\text{(15)}& \alpha =\frac{\prod _{w_j\in X}{p}_j(1-s_j)}{\prod _{w_j\in X}{s}_j(1-p_j)}\end{array}$$

用log$\log$ 函數進一步處理，得到：

∑j=1nlogpj1−pj+log1−sjsj(5)$$\begin{array}{}\text{(5)}& \sum _{j=1}^n\log \frac{p_j}{1-p_j}+\log \frac{1-s_j}{s_j}\end{array}$$

也就是說，現在只要能計算出pj$p_j$ 和sj$s_j$ 就成功了。在計算之前，我們先寫出下面的索引項出現列聯表：

$$	相關文檔數$相關文檔數$	不相關文檔數$不相關文檔數$	總文檔數$總文檔數$
包含wj$w_j$ 的文檔	rj$r_j$	nj−rj$n_j-r_j$	nj$n_j$
不包含wj$w_j$ 的文檔	|C1|−rj$|C_1|-r_j$	N−nj−|C1|+rj$N-n_j-|C_1|+r_j$	N−nj$N-n_j$
所有文檔	|C1|$|C_1|$	|C0|$|C_0|$	N

根據這個表可以得到以下計算公式：

pj=rj|C1|sj=nj−rj|C0|(16)$$\begin{array}{}\text{(16)}& \begin{array}{rl}& p_j=\frac{r_j}{|C_1|}\\ & s_j=\frac{n_j-r_j}{|C_0|}\end{array}\end{array}$$

因爲在公式(5)中，我們用log$\log$ 函數進行了處理，所以我們在pj$p_j$ 和sj$s_j$ 的計算公式中分子加0.5，分母加1，做平滑計算：

pj=rj+0.5|C1|+1sj=nj−rj+0.5|C0|+1(17)$$\begin{array}{}\text{(17)}& \begin{array}{rl}& p_j=\frac{r_j+0.5}{|C_1|+1}\\ & s_j=\frac{n_j-r_j+0.5}{|C_0|+1}\end{array}\end{array}$$

把上面的結果代入公式(5)，得到：

∑j=1nlog(rj+0.5)(|C0|−nj+rj+0.5)(|C1|−rj+0.5)(nj−rj+0.5)(6)$$\begin{array}{}\text{(6)}& \sum _{j=1}^n\log \frac{(r_j+0.5)(|C_0|-n_j+r_j+0.5)}{(|C_1|-r_j+0.5)(n_j-r_j+0.5)}\end{array}$$

這個公式(6)也叫做Robertson-Sparck Jones等式。

3. 無類別估值的解決方案

Robertson-Sparck Jones等式的計算條件是知道|C1|$|C_1|$ ，但是如果不知道呢？實際上，大多時候我們是不知道的。一種可行的方案是，初始時令|C1|=0$|C_1|=0$ ，則公式(6)化簡爲：

∑j=1nlogN−nj+0.5nj+0.5(7)$$\begin{array}{}\text{(7)}& \sum _{j=1}^n\log \frac{N-n_j+0.5}{n_j+0.5}\end{array}$$

可以看到，公式(7)裏面有一個IDF的成分，但是既沒有TF成分，也沒有文檔長度歸一化的處理過程。這些問題導致上面所說的概率檢索模型並不實用。後來的BM25模型解決了這些問題，成爲了商業搜索系統中非常成功的案例。

4. BM25模型

我們知道，在向量空間模型的經典權重算法TF−IDF$TF-IDF$ 中，好的索引權重模型應該考慮三方面的內容：（1）詞頻；（2）逆文檔頻率；（3）文檔長度。而上面由概率檢索模型推導出的公式(6)顯然只是包含了逆文檔頻率的因素，而未考慮詞頻和文檔長度。實驗結果也證明Robertson-Sparck Jones等式直接應用的效果並不好。所以學者們考慮在Robertson-Sparck Jones等式中加入代表詞頻和文檔長度的因子，重新計算文檔排序。這就是經典的BM25模型。

BM25模型爲文檔Di$D_i$ 每個索引項tj$t_j$ 分配了一個係數Bi,j$B_{i,j}$ ，由公式(8)計算生成：

Bi,j=(K1+1)fi,jK1[(1−b)+blen(Di)avg_doclen]+fi,j(8)$$\begin{array}{}\text{(8)}& B_{i,j}=\frac{(K_1+1)f_{i,j}}{K_1[(1-b)+b\frac{len(D_i)}{avg\mathrm{\_}doclen}]+f_{i,j}}\end{array}$$

其中，K1$K_1$ 和b$b$ 爲經驗參數，用於調節詞頻和文檔長度在權重計算中起到的作用，一般來講，K1$K_1$ 取1，b$b$ 取0.75已經被證明是合理的假設。而fi,j$f_{i,j}$ 則爲詞wj$w_j$ 在文檔Di$D_i$ 中的詞頻，avg_doclen$avg\mathrm{\_}doclen$ 爲平均文檔長度。

計算得到了係數Bi,j$B_{i,j}$ ，就可以基於Robertson-Sparck Jones等式最終計算出文檔關於查詢的排序：

sim(Dj,q)=∑tj∈qBi,j×log(rj+0.5)(|C0|−nj+rj+0.5)(|C1|−rj+0.5)(nj−rj+0.5)(18)$$\begin{array}{}\text{(18)}& sim(D_j,q)=\sum _{t_j\in q}{B}_{i,j}\times \log \frac{(r_j+0.5)(|C_0|-n_j+r_j+0.5)}{(|C_1|-r_j+0.5)(n_j-r_j+0.5)}\end{array}$$

如果不知道哪些文檔是相關的，那麼根據公式(7)，還可以簡化上式：

sim(Dj,q)=∑ti∈qBi,j×logN−nj+0.5nj+0.5(9)$$\begin{array}{}\text{(9)}& sim(D_j,q)=\sum _{t_i\in q}{B}_{i,j}\times \log \frac{N-n_j+0.5}{n_j+0.5}\end{array}$$

這個公式(9)，就是BM25模型最爲經典的計算公式。