作者：Winter 工程師
搜索引擎，上網的人基本上都不陌生了，CNNIC的第17次《互聯網調查報告》顯示，使用搜索引擎服務的網民，僅次於電子郵件。中文分詞，估計瞭解的人並不多，畢竟太技術，太底層。但中文分詞是中文搜索引擎系統中非常重要的模塊，這裏之所以強調是中文搜索引擎，是針對英文搜索引擎來講，因爲對於英文來說，空格代表詞和詞之間的分隔，也就不存在分詞問題。和中文搜索引擎類似還有日文、韓文、泰文搜索引擎等，都需要處理分詞問題。
爲什麼需要中文分詞
目前的搜索引擎，大多是基於一種稱爲倒排索引的結構[1]。以什麼做爲索引的Key值，直接影響到整個搜索引擎的準確度、召回率[2]、速度。我們先看看不使用中文分詞的情況。
如果不使用中文分詞，可以採用單個漢字索引方式。例如，雅虎，先索引'雅'字，然後再索引'虎'字。同樣，對於一篇文章，先把所有的漢字都單獨索引一次，並記錄他們的位置。搜索過程中，也是先找'雅'字的所有文檔，再找'虎'字的所有文檔，然後做交叉'與'運算，即包含這兩個字，而且位置連續的文檔纔會做爲符合要求的結果。這種方式是最基本的索引方式，現在有些小引擎中還在使用。但這裏存在一個很有挑戰性的問題：總共的常用漢字是3000多個，我們每次查詢過程中，進行'與'操作的計算量會相當大，對於大數據量搜索引擎來說(超過10億的文檔)，每天上億次查詢，這樣的索引結構，無疑是對硬件和算法的極大挑戰。
考慮到速度問題，如果不使用分詞，還有另外一種選擇：n元組合索引方式，2元/3元等。拿2元來說，中國人，先索引'中國', 再索引'國人'。同樣，對於一篇文章，以2爲單位，把所有相鄰的漢字都索引起來，並記錄他們的位置。搜索過程中，也是先找包含'中國'的所有文檔，再找'國人'的所有文檔，然後做交叉'與'運算，即包含這兩個單元，而且位置連續的文檔纔會做爲符合要求的結果。這樣以兩個字做爲索引單元，可以大大減少在搜索過程中的計算量。
以上兩種方式，都可以不需要分詞，也能實現搜索引擎的索引和搜索。但是這裏存在一個不可忽視的問題：準確度。一個很常見的例子：和服，如果按照上面兩種方式，都會查到包含'主板 和服 務器'的文檔； 北大 也會得到'東 北大 學'。對於大數據量的搜索引擎來說，每個搜索次都會有成千上萬個結果，用戶已經很挑選他真正想要的文章，如果這裏還要增加許多錯誤，估計用戶體驗會極差。這時候，我們需要中文分詞。
詞，是中文語言中最小的語意單位。以詞爲單位做爲搜索引擎的索引的Key值，會大大提高搜索引擎結果的準確性，同時保證了搜索過程中計算量小。其實還有一個優點，以詞爲單位的索引，索引庫會比上兩種方式小很多。很明顯：如果以 中國人 做爲一個詞，那麼搜索的時候，不需要任何'與'運算，索引的時候記錄也會減少。關於搜索過程描述參看中文搜索引擎技術揭密：系統架構
參考
1. The Anatomy of a Large-Scale Hypertextual Web Search Engine
2. 召回率: recall. 即得到的正確結果佔所有應該得到的正確結果的比例。如：包含'雅虎'的正確的網頁應該有500個，但搜索得到了600個結果，其中有400個是正確的，還有200個是錯誤的。那麼準確度是:400/600=66.67%, 召回率是：400/500=80%.
中文分詞的算法
中文分詞技術的研究，已經有幾十年的歷史了，在20世紀80年代，我國就有人開始研究如何用計算機來自動分詞。如何讓機器去識別語言中最小的語意單位，不是一件很容易的事情。
如何進行分詞？對於程序員來說，最容易想到的辦法是，用一個大詞典，把所有的詞都存入詞典中，掃描輸入的文本，查找所有可能的詞，然後看哪個詞可以做爲輸出。例如：
輸入文本: 我是學生
詞: 我/是/學生
其實這樣做了以後，可以解決60%的問題。總結起來，分詞的算法分爲：
1. 基於字符串匹配的分詞方法
2. 基於理解的分詞方法
3. 基於統計的分詞方法
關於這3種算法的詳細介紹，可以查看中文分詞技術，我這裏想介紹的是，如何處理新詞。
新詞，術語是"未登錄詞"，就是那些沒有收入到詞典裏面的詞。新詞主要包括：人名、地名、機構名、熱點新名詞等。例如：2003年之前，沒有人知道"非典"。"非典"剛出現的時候，這就是新詞。還有"超女", "三個代表"，"芙蓉姐姐"。識別新詞的能力是評估一個分詞系統的重要指標。在國際上每年進行的分詞大賽中，識別新詞的比賽也單獨提出。2006年SIGHAN的分詞大賽中，就增添了對於機構名識別的比賽。
如何識別新詞成爲最近幾年分詞技術研究的重點。總結起來，無非分成兩種：
1. 基於規則的方法。
2. 基於統計、機器學習。
拿人名識別爲例。你不可能把所有的人名都放入詞典中，這決定了人名註定會是新詞。從人名構造來說，很有規律：姓＋名。張王劉李陳、天下一半人。也就是說可能有一半的人，是這五個姓。名也有一定規律：建華/建國/志強.....等有許多經常用於名字中的漢字；對於地名識別也可以找出很多規則，省/縣/村/鎮/灣/河等，都是很常用的後綴，如果他們出現，之前出現地名的可能性比較大。如果把這些規律轉化成計算機能識別的算法，就是基於規則的算法。這種基於規則的算法簡單有效，而且發現規則可很方便加入。
規則總會有例外，規則過多以後，如何去權衡這些規則，會是十分頭疼的問題。人們試着告訴計算機目標，讓計算機自己去嘗試各種方法組合這些規則並得到最優參數，這就機器學習。隨着Machine Learning(機器學習)技術的不斷進步，其應用範圍也越來越廣，中文分詞算法也從中受益。ANN(人工神經網絡), 最大熵模型, HMM(隱馬爾可夫模型)等算法都在新詞識別中有應用。通過機器學習識別新詞的原理並不複雜。一般都是先定義一些特徵，然後利用訓練語料進行學習，建立模型。還是以人名識別爲例，可以定義姓名前面的字、姓、名、姓名後面的字做爲特徵，通過利用標註好姓名的語料庫進行學習訓練。
機器學習識別新詞的好處在於自動尋找一些識別新詞的特徵，其準確度和召回率都能達到比較高的水平。但機器學習算法需要有足夠多的訓練語料，人工準備準確的大規模的訓練語料也會十分困難。另外，機器學習算法一般速度會比較慢，優化速度，使之用於海量數據處理，也是使用機器學習的一個關鍵點。
中文分詞和搜索引擎
中文分詞除了在索引結構上影響搜索引擎以外，還會如何影響搜索引擎？
除了搜索引擎的索引過程需要用到分詞以外，所有的搜索之前也需要用到分詞。有些人誤認爲"短語搜索"（即兩端加上引號的搜索方式，搜索引擎基本都支持這種方式，查看搜索引擎幫助）是直接拿字符串去匹配不用分詞，因爲結果看上去好像是字符串匹配的結果。其實不然，短語搜索同樣需要用分詞，只不過在結果中需要位置連續等嚴格限制。當位置連續時，在顯示摘要的時候，會讓你感覺只是用字符串匹配。
除了在搜索前端後端都需要用到分詞以外，搜索引擎還有一個原則：前端後端分詞結果應該一致。這意思是說，如果你在索引時沒有識別出"文德"的人名，你在搜索時最好也別識別出來，這樣可以按照兩個單字的方式查找，或許有正確結果，否則會查不到結果。反之也一樣。由於索引過程中，分詞輸入的一篇文章，有大量的上下文信息，但在搜索時，用戶輸入的可能只有幾個字，很多上下文信息不在存在。如果過多使用統計或機器學習，很容易導致搜索引擎的前端後端分詞不一致的問題。這也是搜索引擎使用分詞和其他系統，如機器翻譯，使用分詞不一樣的地方。
如果你看過搜索引擎的query log（即所有搜索詞的記錄），你會發現新詞很多，會佔30%，或者更多。對這些新詞的識別會直接影響搜索結果的準確性，或者說相關性。搜索結果的相關性決定於排序算法，排序算法一部分依賴於網頁的質量和權威性，另一方面依賴於分詞結果的準確性。分詞結果準確，我們會方便的計算詞在文章中的重要程度。"超女"做爲一個詞在文章中的權重，和"超"、"女"兩個字在文章中的權重計算方法會很不一樣，這樣就會直接影響相關性的計算。
中文分詞對於搜索引擎的影響，還表現在對於用戶輸入詞意圖的識別。識別用戶的輸入詞是否是人名、網站名、軟件名還是其他通用詞彙，能夠判斷用戶的意圖，從而提供用戶想要的結果。
其實中文分詞是所有中文處理的基礎，因此如果有一個好的分詞系統，會對改進搜索引擎的相關性有很大的幫助。但最終展現給用戶的是網頁結果而不是分詞結果，提高網頁的相關性，有100%準確的分詞也是不夠。如何在準確的中文分詞基礎上，做更多的分析和挖掘，理解用戶的意圖，滿足用戶的需要，是每個搜索引擎公司都在努力做的事情。
雅虎的中文分詞
YST 是Yahoo Search Technology的縮寫。Yahoo收購inktomi公司後，又收購了幾家做搜索的公司，綜合打造出自己的搜索引擎技術。最開始，雅虎沒有分詞技術(segmentation), 中文、日文、韓文....等都是使用的第三方的產品。後來，隨着雅虎正式進入中文搜索市場，雅虎開始加強對中文分詞的研究，現在YST中使用的中文分詞系統已經是雅虎中國和雅虎美國工程師共同開發的版本－－YWS(Yahoo Word Segmenter)，而且現在還在持續不斷的改進。YWS 在對於人名、地名、機構名等新詞識別方面有很不錯的準確度，對於query的分析提供了很大幫助。
然而，對於搜索引擎廠商來說，沒有最好的分詞，只有最合適的分詞。如何改進分詞系統，配合以合適的索引結構，最終不斷提高用戶的滿意度，這是一個長期的課題
