淺析PageRank算法

       很早就對Google的PageRank算法很感興趣，但一直沒有深究，只有個輪廓性的概念。前幾天趁團隊outing的機會，在動車上看了一些相關的資料（PS：在動車上看看書真是一種享受），趁熱打鐵，將所看的東西整理成此文。

本文首先會討論搜索引擎的核心難題，同時討論早期搜索引擎關於結果頁面重要性評價算法的困境，藉此引出PageRank產生的背景。第二部分會詳細討論PageRank的思想來源、基礎框架，並結合互聯網頁面拓撲結構討論PageRank處理Dead Ends及平滑化的方法。第三部分討論Topic-Sensitive PageRank算法。最後將討論對PageRank的Spam攻擊方法：Spam Farm以及搜索引擎對Spam Farm的防禦。

搜索引擎的難題

Google早已成爲全球最成功的互聯網搜索引擎，但這個當前的搜索引擎巨無霸卻不是最早的互聯網搜索引擎，在Google出現之前，曾出現過許多通用或專業領域搜索引擎。Google最終能擊敗所有競爭對手，很大程度上是因爲它解決了困擾前輩們的最大難題：對搜索結果按重要性排序。而解決這個問題的算法就是PageRank。毫不誇張的說，是PageRank算法成就了Google今天的低位。要理解爲什麼解決這個難題如此重要，我們先來看一下搜索引擎的核心框架。

搜索引擎的核心框架

雖然搜索引擎已經發展了很多年，但是其核心卻沒有太大變化。從本質上說，搜索引擎是一個資料檢索系統，搜索引擎擁有一個資料庫（具體到這裏就是互聯網頁面），用戶提交一個檢索條件（例如關鍵詞），搜索引擎返回符合查詢條件的資料列表。理論上檢索條件可以非常複雜，爲了簡單起見，我們不妨設檢索條件是一至多個以空格分隔的詞，而其表達的語義是同時含有這些詞的資料（等價於布爾代數的邏輯與）。例如，提交“張洋 博客”，意思就是“給我既含有‘張洋’又含有‘博客’詞語的頁面”，以下是Google對這條關鍵詞的搜索結果：

可以看到我的博客出現在第五條，而第四條是我之前在博客園的博客。

當然，實際上現在的搜索引擎都是有分詞機制的，例如如果以“張洋的博客”爲關鍵詞，搜索引擎會自動將其分解爲“張洋 的 博客”三個詞，而“的”作爲停止詞（Stop Word）會被過濾掉。關於分詞及詞權評價算法（如TF-IDF算法）是一個很大的話題，這裏就不展開討論了，爲了簡單此處可以將搜索引擎想象爲一個只會機械匹配詞語的檢索系統。

這樣看來，建立一個搜索引擎的核心問題就是兩個：1、建立資料庫；2、建立一種數據結構，可以根據關鍵詞找到含有這個詞的頁面。

第一個問題一般是通過一種叫爬蟲（Spider）的特殊程序實現的（當然，專業領域搜索引擎例如某個學術會議的論文檢索系統可能直接從數據庫建立資料庫），簡單來說，爬蟲就是從一個頁面出發（例如新浪首頁），通過HTTP協議通信獲取這個頁面的所有內容，把這個頁面url和內容記錄下來（記錄到資料庫），然後分析頁面中的鏈接，再去分別獲取這些鏈接鏈向頁面的內容，記錄到資料庫後再分析這個頁面的鏈接……重複這個過程，就可以將整個互聯網的頁面全部獲取下來（當然這是理想情況，要求整個Web是一個強連通（Strongly Connected），並且所有頁面的robots協議允許爬蟲抓取頁面，爲了簡單，我們仍然假設Web是一個強連通圖，且不考慮robots協議）。抽象來看，可以將資料庫看做一個巨大的key-value結構，key是頁面url，value是頁面內容。

第二個問題是通過一種叫倒排索引（inverted index）的數據結構實現的，抽象來說倒排索引也是一組key-value結構，key是關鍵詞，value是一個頁面編號集合（假設資料庫中每個頁面有唯一編號），表示這些頁面含有這個關鍵詞。本文不詳細討論倒排索引的建立方法。

有了上面的分析，就可以簡要說明搜索引擎的核心動作了：搜索引擎獲取“張洋 博客”查詢條件，將其分爲“張洋”和“博客”兩個詞。然後分別從倒排索引中找到“張洋”所對應的集合，假設是{1， 3， 6， 8， 11， 15}；“博客”對應的集合是{1， 6， 10， 11， 12， 17， 20， 22}，將兩個集合做交運算（intersection），結果是{1， 6， 11}。最後，從資料庫中找出1、6、11對應的頁面返回給用戶就可以了。

搜索引擎的核心難題

上面闡述了一個非常簡單的搜索引擎工作框架，雖然現代搜索引擎的具體細節原理要複雜的多，但其本質卻與這個簡單的模型並無二異。實際Google在上述兩點上相比其前輩並無高明之處。其最大的成功是解決了第三個、也是最爲困難的問題：如何對查詢結果排序。

我們知道Web頁面數量非常巨大，所以一個檢索的結果條目數量也非常多，例如上面“張洋 博客”的檢索返回了超過260萬條結果。用戶不可能從如此衆多的結果中一一查找對自己有用的信息，所以，一個好的搜索引擎必須想辦法將“質量”較高的頁面排在前面。其實直觀上也可以感覺出，在使用搜索引擎時，我們並不太關心頁面是否夠全（上百萬的結果，全不全有什麼區別？而且實際上搜索引擎都是取top，並不會真的返回全部結果。），而很關心前一兩頁是否都是質量較高的頁面，是否能滿足我們的實際需求。

因此，對搜索結果按重要性合理的排序就成爲搜索引擎的最大核心，也是Google最終成功的突破點。

早期搜索引擎的做法

不評價

這個看起來可能有點搞笑，但實際上早期很多搜索引擎（甚至包括現在的很多專業領域搜索引擎）根本不評價結果重要性，而是直接按照某自然順序（例如時間順序或編號順序）返回結果。這在結果集比較少的情況下還說得過去，但是一旦結果集變大，用戶叫苦不迭，試想讓你從幾萬條質量參差不齊的頁面中尋找需要的內容，簡直就是一場災難，這也註定這種方法不可能用於現代的通用搜索引擎。

基於檢索詞的評價

後來，一些搜索引擎引入了基於檢索關鍵詞去評價搜索結構重要性的方法，實際上，這類方法如TF-IDF算法在現代搜索引擎中仍在使用，但其已經不是評價質量的唯一指標。完整描述TF-IDF比較繁瑣，本文這裏用一種更簡單的抽象模型描述這種方法。

基於檢索詞評價的思想非常樸素：和檢索詞匹配度越高的頁面重要性越高。“匹配度”就是要定義的具體度量。一個最直接的想法是關鍵詞出現次數越多的頁面匹配度越高。還是搜索“張洋 博客”的例子：假設A頁面出現“張洋”5次，“博客”10次；B頁面出現“張洋”2次，“博客”8次。於是A頁面的匹配度爲5 + 10 = 15，B頁面爲2 + 8 = 10，於是認爲A頁面的重要性高於B頁面。很多朋友可能意識到這裏的不合理性：內容較長的網頁往往更可能比內容較短的網頁關鍵詞出現的次數多。因此，我們可以修改一下算法，用關鍵詞出現次數除以頁面總詞數，也就是通過關鍵詞佔比作爲匹配度，這樣可以克服上面提到的不合理。

早期一些搜索引擎確實是基於類似的算法評價網頁重要性的。這種評價算法看似依據充分、實現直觀簡單，但卻非常容易受到一種叫“Term Spam”的攻擊。

Term Spam

其實從搜索引擎出現的那天起，spammer和搜索引擎反作弊的鬥法就沒有停止過。Spammer是這樣一羣人——試圖通過搜索引擎算法的漏洞來提高目標頁面（通常是一些廣告頁面或垃圾頁面）的重要性，使目標頁面在搜索結果中排名靠前。

現在假設Google單純使用關鍵詞佔比評價頁面重要性，而我想讓我的博客在搜索結果中排名更靠前（最好排第一）。那麼我可以這麼做：在頁面中加入一個隱藏的html元素（例如一個div），然後其內容是“張洋”重複一萬次。這樣，搜索引擎在計算“張洋 博客”的搜索結果時，我的博客關鍵詞佔比就會非常大，從而做到排名靠前的效果。更進一步，我甚至可以干擾別的關鍵詞搜索結果，例如我知道現在歐洲盃很火熱，我就在我博客的隱藏div里加一萬個“歐洲盃”，當有用戶搜索歐洲盃時，我的博客就能出現在搜索結果較靠前的位置。這種行爲就叫做“Term Spam”。

早期搜索引擎深受這種作弊方法的困擾，加之基於關鍵詞的評價算法本身也不甚合理，因此經常是搜出一堆質量低下的結果，用戶體驗大大打了折扣。而Google正是在這種背景下，提出了PageRank算法，並申請了專利保護。此舉充分保護了當時相對弱小Google，也使得Google一舉成爲全球首屈一指的搜索引擎。

PageRank算法

上文已經說到，PageRank的作用是評價網頁的重要性，以此作爲搜索結果的排序重要依據之一。實際中，爲了抵禦spam，各個搜索引擎的具體排名算法是保密的，PageRank的具體計算方法也不盡相同，本節介紹一種最簡單的基於頁面鏈接屬性的PageRank算法。這個算法雖然簡單，卻能揭示PageRank的本質，實際上目前各大搜索引擎在計算PageRank時鏈接屬性確實是重要度量指標之一。

簡單PageRank計算

首先，我們將Web做如下抽象：1、將每個網頁抽象成一個節點；2、如果一個頁面A有鏈接直接鏈向B，則存在一條有向邊從A到B（多個相同鏈接不重複計算邊）。因此，整個Web被抽象爲一張有向圖。

現在假設世界上只有四張網頁：A、B、C、D，其抽象結構如下圖：

顯然這個圖是強連通的（從任一節點出發都可以到達另外任何一個節點）。

然後需要用一種合適的數據結構表示頁面間的連接關係。其實，PageRank算法是基於這樣一種背景思想：被用戶訪問越多的網頁更可能質量越高，而用戶在瀏覽網頁時主要通過超鏈接進行頁面跳轉，因此我們需要通過分析超鏈接組成的拓撲結構來推算每個網頁被訪問頻率的高低。最簡單的，我們可以假設當一個用戶停留在某頁面時，跳轉到頁面上每個被鏈頁面的概率是相同的。例如，上圖中A頁面鏈向B、C、D，所以一個用戶從A跳轉到B、C、D的概率各爲1/3。設一共有N個網頁，則可以組織這樣一個N維矩陣：其中i行j列的值表示用戶從頁面j轉到頁面i的概率。這樣一個矩陣叫做轉移矩陣（Transition Matrix）。下面的轉移矩陣M對應上圖：

然後，設初始時每個頁面的rank值爲1/N，這裏就是1/4。按A-D順序將頁面rank爲向量v：

注意，M第一行分別是A、B、C和D轉移到頁面A的概率，而v的第一列分別是A、B、C和D當前的rank，因此用M的第一行乘以v的第一列，所得結果就是頁面A最新rank的合理估計，同理，Mv的結果就分別代表A、B、C、D新rank：

然後用M再乘以這個新的rank向量，又會產生一個更新的rank向量。迭代這個過程，可以證明v最終會收斂，即v約等於Mv，此時計算停止。最終的v就是各個頁面的pagerank值。例如上面的向量經過幾步迭代後，大約收斂在（1/4, 1/4, 1/5, 1/4），這就是A、B、C、D最後的pagerank。

處理Dead Ends

上面的PageRank計算方法假設Web是強連通的，但實際上，Web並不是強連通（甚至不是聯通的）。下面看看PageRank算法如何處理一種叫做Dead Ends的情況。

所謂Dead Ends，就是這樣一類節點：它們不存在外鏈。看下面的圖：

注意這裏D頁面不存在外鏈，是一個Dead End。上面的算法之所以能成功收斂到非零值，很大程度依賴轉移矩陣這樣一個性質：每列的加和爲1。而在這個圖中，M第四列將全爲0。在沒有Dead Ends的情況下，每次迭代後向量v各項的和始終保持爲1，而有了Dead Ends，迭代結果將最終歸零（要解釋爲什麼會這樣，需要一些矩陣論的知識，比較枯燥，此處略）。

處理Dead Ends的方法如下：迭代拿掉圖中的Dead Ends節點及Dead Ends節點相關的邊（之所以迭代拿掉是因爲當目前的Dead Ends被拿掉後，可能會出現一批新的Dead Ends），直到圖中沒有Dead Ends。對剩下部分計算rank，然後以拿掉Dead Ends逆向順序反推Dead Ends的rank。

以上圖爲例，首先拿到D和D相關的邊，D被拿到後，C就變成了一個新的Dead Ends，於是拿掉C，最終只剩A、B。此時可很容易算出A、B的PageRank均爲1/2。然後我們需要反推Dead Ends的rank，最後被拿掉的是C，可以看到C前置節點有A和B，而A和B的出度分別爲3和2，因此C的rank爲：1/2 * 1/3 + 1/2 * 1/2 = 5/12；最後，D的rank爲：1/2 * 1/3 + 5/12 * 1 = 7/12。所以最終的PageRank爲（1/2, 1/2, 5/12, 7/12）。

Spider Traps及平滑處理

可以預見，如果把真實的Web組織成轉移矩陣，那麼這將是一個極爲稀疏的矩陣，從矩陣論知識可以推斷，極度稀疏的轉移矩陣迭代相乘可能會使得向量v變得非常不平滑，即一些節點擁有很大的rank，而大多數節點rank值接近0。而一種叫做Spider Traps節點的存在加劇了這種不平滑。例如下圖：

D有外鏈所以不是Dead Ends，但是它只鏈向自己（注意鏈向自己也算外鏈，當然同時也是個內鏈）。這種節點叫做Spider Trap，如果對這個圖進行計算，會發現D的rank越來越大趨近於1，而其它節點rank值幾乎歸零。

爲了克服這種由於矩陣稀疏性和Spider Traps帶來的問題，需要對PageRank計算方法進行一個平滑處理，具體做法是加入“心靈轉移（teleporting）”。所謂心靈轉移，就是我們認爲在任何一個頁面瀏覽的用戶都有可能以一個極小的概率瞬間轉移到另外一個隨機頁面。當然，這兩個頁面可能不存在超鏈接，因此不可能真的直接轉移過去，心靈轉移只是爲了算法需要而強加的一種純數學意義的概率數字。

加入心靈轉移後，向量迭代公式變爲：

其中β往往被設置爲一個比較小的參數（0.2或更小），e爲N維單位向量，加入e的原因是這個公式的前半部分是向量，因此必須將β/N轉爲向量才能相加。這樣，整個計算就變得平滑，因爲每次迭代的結果除了依賴轉移矩陣外，還依賴一個小概率的心靈轉移。

以上圖爲例，轉移矩陣M爲：

設β爲0.2，則加權後的M爲：

因此：

如果按這個公式迭代算下去，會發現Spider Traps的效應被抑制了，從而每個頁面都擁有一個合理的pagerank。

Topic-Sensitive PageRank

其實上面的討論我們迴避了一個事實，那就是“網頁重要性”其實沒一個標準答案，對於不同的用戶，甚至有很大的差別。例如，當搜索“蘋果”時，一個數碼愛好者可能是想要看iphone的信息，一個果農可能是想看蘋果的價格走勢和種植技巧，而一個小朋友可能在找蘋果的簡筆畫。理想情況下，應該爲每個用戶維護一套專用向量，但面對海量用戶這種方法顯然不可行。所以搜索引擎一般會選擇一種稱爲Topic-Sensitive的折中方案。Topic-Sensitive PageRank的做法是預定義幾個話題類別，例如體育、娛樂、科技等等，爲每個話題單獨維護一個向量，然後想辦法關聯用戶的話題傾向，根據用戶的話題傾向排序結果。

Topic-Sensitive PageRank分爲以下幾步：

1、確定話題分類。

一般來說，可以參考Open Directory（DMOZ）的一級話題類別作爲topic。目前DMOZ的一級topic有：Arts（藝術）、Business（商務）、Computers（計算機）、Games（遊戲）、Health（醫療健康）、Home（居家）、Kids and Teens（兒童）、News（新聞）、Recreation（娛樂修養）、Reference（參考）、Regional（地域）、Science（科技）、Shopping（購物）、Society（人文社會）、Sports（體育）。

2、網頁topic歸屬。

這一步需要將每個頁面歸入最合適的分類，具體歸類有很多算法，例如可以使用TF-IDF基於詞素歸類，也可以聚類後人工歸類，具體不再展開。這一步最終的結果是每個網頁被歸到其中一個topic。

3、分topic向量計算。

在Topic-Sensitive PageRank中，向量迭代公式爲

首先是單位向量e變爲了s。s是這樣一個向量：對於某topic的s，如果網頁k在此topic中，則s中第k個元素爲1，否則爲0。注意對於每一個topic都有一個不同的s。而|s|表示s中1的數量。

還是以上面的四張頁面爲例，假設頁面A歸爲Arts，B歸爲Computers，C歸爲Computers，D歸爲Sports。那麼對於Computers這個topic，s就是：

而|s|=2。因此，迭代公式爲：

最後算出的向量就是Computers這個topic的rank。如果實際計算一下，會發現B、C頁在這個topic下的權重相比上面非Topic-Sensitive的rank會升高，這說明如果用戶是一個傾向於Computers topic的人（例如程序員），那麼在給他呈現的結果中B、C會更重要，因此可能排名更靠前。

4、確定用戶topic傾向。

最後一步就是在用戶提交搜索時，確定用戶的topic傾向，以選擇合適的rank向量。主要方法有兩種，一種是列出所有topic讓用戶自己選擇感興趣的項目，這種方法在一些社交問答網站註冊時經常使用；另外一種方法就是通過某種手段（如cookie跟蹤）跟蹤用戶的行爲，進行數據分析判斷用戶的傾向，這本身也是一個很有意思的話題，按時這個話題超出本文的範疇，不再展開細說。

針對PageRank的Spam攻擊與反作弊

上文說過，Spammer和搜索引擎反作弊工程師的鬥法從來就沒停止過。實際上，只要是算法，就一定有spam方法，不存在無懈可擊的排名算法。下面看一下針對PageRank的spam。

Link Spam

回到文章開頭的例子，如果我想讓我的博客在搜索“張洋 博客”時排名靠前，顯然在PageRank算法下靠Term Spam是無法實現的。不過既然我明白了PageRank主要靠內鏈數計算頁面權重，那麼我是不是可以考慮建立很多空架子網站，讓這些網站都鏈接到我博客首頁，這樣是不是可以提高我博客首頁的PageRank？很不幸，這種方法行不通。再看下PageRank算法，一個頁面會將權重均勻散播給被鏈接網站，所以除了內鏈數外，上游頁面的權重也很重要。而我那些空架子網站本身就沒啥權重，所以來自它們的內鏈並不能起到提高我博客首頁PageRank的作用，這樣只是自娛自樂而已。

所以，Spam PageRank的關鍵就在於想辦法增加一些高權重頁面的內鏈。下面具體看一下Link Spam怎麼做。

首先明確將頁面分爲幾個類型：

1、目標頁

目標頁是spammer要提高rank的頁面，這裏就是我的博客首頁。

2、支持頁

支持頁是spammer能完全控制的頁面，例如spammer自己建立的站點中頁面，這裏就是我上文所謂的空架子頁面。

3、可達頁

可達頁是spammer無法完全控制，但是可以有接口供spammer發佈鏈接的頁面，例如天涯社區、新浪博客等等這種用戶可發帖的社區或博客站。

4、不可達頁

這是那些spammer完全無法發佈鏈接的網站，例如政府網站、百度首頁等等。

作爲一個spammer，我能利用的資源就是支持頁和可達頁。上面說過，單純通過支持頁是沒有辦法spam的，因此我要做的第一件事情就是儘量找一些rank較高的可達頁去加上對我博客首頁的鏈接。例如我可以去天涯、貓撲等地方回個這樣的貼：“樓主的帖子很不錯！精彩內容：http://codinglabs.org”。我想大家一定在各大社區沒少見這種帖子，這就是有人在做spam。

然後，再通過大量的支持頁放大rank，具體做法是讓每個支持頁和目標頁互鏈，且每個支持頁只有一條鏈接。

這樣一個結構叫做Spam Farm，其拓撲圖如下：

其中T是目標頁，A是可達頁，S是支持頁。下面計算一下link spam的效果。

設T的總rank爲y，則y由三部分組成：

1、可達頁的rank貢獻，設爲x。

2、心靈轉移的貢獻，爲β/n。其中n爲全部網頁的數量，β爲轉移參數。

3、支持頁的貢獻：

設有m個支持頁，因爲每個支持頁只和T有鏈接，所以可以算出每個支持頁的rank爲：

則支持頁貢獻的全部rank爲：

因此可以得到：

由於相對β，n非常巨大，所以可以認爲β/n近似於0。 簡化後的方程爲：

解方程得：

假設β爲0.2，則1/(2β-β^2) = 2.77則這個spam farm可以將x約放大2.7倍。因此如果起到不錯的spam效果。

Link Spam反作弊

針對spammer的link spam行爲，搜索引擎的反作弊工程師需要想辦法檢測這種行爲，一般來說有兩類方法檢測link spam。

網絡拓撲分析

一種方法是通過對網頁的圖拓撲結構分析找出可能存在的spam farm。但是隨着Web規模越來越大，這種方法非常困難，因爲圖的特定結構查找是時間複雜度非常高的一個算法，不可能完全靠這種方法反作弊。

TrustRank

更可能的一種反作弊方法是叫做一種TrustRank的方法。

說起來TrustRank其實數學本質上就是Topic-Sensitive Rank，只不過這裏定義了一個“可信網頁”的虛擬topic。所謂可信網頁就是上文說到的不可達頁，或者說沒法spam的頁面。例如政府網站（被黑了的不算）、新浪、網易門戶首頁等等。一般是通過人力或者其它什麼方式選擇出一個“可信網頁”集合，組成一個topic，然後通過上文的Topic-Sensitive算法對這個topic進行rank計算，結果叫做TrustRank。

TrustRank的思想很直觀：如果一個頁面的普通rank遠高於可信網頁的topic rank，則很可能這個頁面被spam了。

設一個頁面普通rank爲P，TrustRank爲T，則定義網頁的Spam Mass爲：(P – T)/P。

Spam Mass越大，說明此頁面爲spam目標頁的可能性越大。

總結

這篇文章是我對一些資料的歸納彙總，簡單介紹了PageRank的背景、作用、計算方法、變種、Spam及反作弊等內容。爲了突出重點我簡化了搜索引擎的模型，當然在實際中搜索引擎遠沒有這麼簡單，真實算法也一定非常複雜。不過目前幾乎所有現代搜索引擎頁面權重的計算方法都基於PageRank及其變種。因爲我沒做過搜索引擎相關的開發，因此本文內容主要是基於現有文獻的客觀總結，稍加一點我的理解。

文中的圖使用PGF/TikZ for Tex繪製：http://www.texample.net/tikz/。

文中公式由 codecogs 在線 LaTeX 公式編輯器生成：http://private.codecogs.com/latex/eqneditor.php。