谷歌算法統治互聯網的祕訣

搜索改變生活

想知道谷歌將如何改變你的生活嗎?那麼週四去“瓦加杜古”會議室看一看吧。在加利福尼亞山景城的這個會議室裏,幾十名工程師、產品經理和高管聚集一堂,討 論如何令谷歌的搜索引擎更加智能。今年,谷歌將對其傳說中的搜索引擎算法進行了大約500項改進,而且每一項改進都要通過這樣的會議決定。

每週一次的“搜索質量大會”,都將可能影響谷歌搜索的結果——“三星SF-755p打印機”、“MySpace佈局代碼”,甚至是“布基納法索 首都”,該國首都恰巧與谷歌此會議室名字相同。自2006年以來,一直擔任谷歌搜索主管的烏迪·曼博(Udi Manber)任會議的負責人。會議將一一提出可實施的改進,同時還會討論數月來在不同國家、不同語言環境中的測試結果。屏幕上分兩列顯示,更改前後同一 查詢返回的結果。在討論“吉他 人聲模擬”的查詢結果時,曼博叫道:“這個我搜過”。

你可能會想,谷歌已經主導搜索引擎市場長達十年之久,應該可以高枕無憂了。畢竟谷歌在搜索引擎市場上的份額高達65%,甚至谷歌一詞已經成爲搜索的代名 詞。就像谷歌不願在桂冠面前止步一樣,其競爭對手也不願輕易認輸。多年來,谷歌一直在用其神祕、看起來無所不知的算法來“組織世界信息”。但最近五年來, 很多公司開始對谷歌的一重要觀點發起挑戰。

谷歌認爲,一個單一的搜索引擎,通過技術創新和不斷改進,可以滿足任何搜索要求。而Facebook較早對此發起了挑戰,認爲一些人更願意通過朋友獲得信 息,而不是一個沒有名字的算法公式。Twitter能對不斷更新的消息進行時時分析,這就使“實時搜索”成爲現實——挖掘正在進行的討論或閒談。

購物比較網站Yelp通過大衆對商家的等級評定,幫助人們尋找飯店、乾洗店和保姆等相關信息。雖然這些後起之秀無法單獨對谷歌造成威脅,但它們共同預示着搜索行業的一種開放、混沌的未來——並不是被一個搜索引擎所主導,而是包含着豐富多樣的服務。

  來自必應的挑戰

然而,谷歌最大的威脅是微軟的必應(Bing)。必應使人聯想到探索、美國傳奇歌手Bing Crosby、和《黑道家族》中的Bada Bing夜店,這款重新修整、被賦予新品牌的搜索引擎在去年6月推出時便贏得了樂觀的評價。《華爾街日報》稱其“比谷歌更有吸引力”。新的面貌和1億美元 的廣告戰使微軟在美國搜索市場中的份額從8%躍升至11%——如果監管部門批准必應成爲雅虎的搜索服務商,這一份額將增加一倍以上。

必應團隊一直專注於谷歌算法無法滿足的需求。比如,谷歌擅長搜索公共網絡,但卻無法實時跟蹤不斷變化的航班時刻表和機票價格。因此微軟收購了 Farecast網站,該網站追蹤機票價格的變化,並據以預測票價的漲跌。目前,微軟已把Farecast的技術應用加入到必應的搜索結果之中。微軟在其 認爲谷歌算法沒有優勢的領域,例如健康、購物領域,也進行了類似的收購。

即使必應團隊承認,在根據搜索詞返回有用信息方面,谷歌還遙遙領先。但他們仍認爲,如果必應可以提供一些擅長的領域,用戶會逐漸習慣使用必應來進行特定的 搜索。微軟核心搜索部門副總裁布萊恩·麥克唐納(Brian MacDonald)表示:“算法對於搜索引擎來說至關重要,但它並不是一切,就像你買車並非只因爲它的引擎。”

 谷歌仍是最“智能”的搜索引擎

一個有趣的例子“mike siwek lawyer mi”表明了谷歌相對於必應的優勢。

阿米特·辛格(Amit Singhal)是谷歌的首席工程師,40多歲,性格溫和,他曾因在2001年重寫了谷歌搜索引擎而獲得殊榮。他將這些單詞輸入谷歌搜索框,並敲擊了回車 鍵。在極短的時間內,搜索結果便顯示出來。最上面的鏈接指向的網頁給出了密歇根州大急流城一位名叫Michael Siwek的律師。

這是一個很普通的搜索,谷歌每天要處理成千上萬的這種搜索。但事實上這一搜索過程十分複雜,可能使一些搜索引擎誤解。如果把這些單詞輸入到必應,第一個結 果是美國國家橄欖球聯盟的歷年球員名單,其中有一個名叫Lawyer Milloy。搜索結果中的下面幾頁,也沒有與律師Siwek相關的內容。

這一對比顯示出谷歌算法的強大,甚至可以說是智能,而這是通過反覆的修正實現的。看起來谷歌擁有解讀用戶需求的神奇力量——不論是多麼生僻的搜索,或是有拼寫錯誤。谷歌將這種能力稱爲搜索質量,並且多年來一直竭力完善算法,以產生精確的搜索結果。

現在我就與辛格一起坐在谷歌的43號辦公大樓裏,因爲谷歌給與了我一個前所未有的機會——讓我瞭解他們是如何保證搜索質量的。背後的意涵很明確:你可能認爲算法只是一個引擎,但在揭開其神祕面紗之後你纔會發現它是多麼的無所不能。

 創新的開始:PageRank

谷歌算法始於PageRank,這是1997年拉里·佩奇(Larry Page)在斯坦福大學讀研究生時開發的。佩奇的創新性想法是:基於入鏈接的數量和重要性對網頁進行評級,也就是通過網絡的集體智慧確定哪些網站最有用。 隨着谷歌迅速成爲互聯網上最成功的搜索引擎,佩奇和谷歌的另一名創始人塞吉·布林(Sergey Brin)將PageRank這一簡單概念看做谷歌的最根本創新。

但這並不是故事的全部。曼博表示:“人們信賴PageRank是因爲它是可以進行確認的,但要提供最有用的結果還需要其他技術。”這涉及對某些信號、上下文的利用,這樣對於任何查詢,搜索引擎都能將最有用的結果排在最前面。

網絡搜索是一個多方過程。首先,谷歌機器人獲取每個可訪問網站的內容。這些數據將被分解成一個索引(通過文字進行組織,就像書本的目錄),這樣就可以根據 內容找到任何頁面。每當用戶鍵入一個查詢,谷歌就會在索引中搜尋相關頁面,然後返回一個包含多達數百萬頁面的列表。最複雜的是對列表進行排序,也就是決定 哪些頁面應該出現在最上面。

此時,上下文便有了用武之地。所有搜索引擎都會引入上下文,但沒有一個像谷歌那樣引入得那樣多、應用那樣自如。PageRank本身也是一個信號,同時也 是頁面的一個屬性(指其相對於其他網頁的重要性),該屬性可以幫助確定其與查詢內容的相關性,其中的一些信號在現在看來是顯而易見的。

一直以來,谷歌算法都對頁面的標題給與特別的關注,因此標題成爲確定相關性的重要信號。另一個重要技術是錨文本,指的是超鏈接中的可見文本。因此,“當你 進行搜索時,搜索引擎總能給出正確的頁面,即使該頁面中沒有你找的關鍵詞。”這是谷歌早期架構師斯科特·哈桑(Scott Hassa)的觀點,他曾與佩奇和布林一起在斯坦福工作。之後,搜索引擎關注的信號還包括新鮮度(對於一些查詢,新近的頁面比較早的頁面更有價值)和地理 位置(谷歌知道搜索者的大致地理座標,會將本地信息排在前面)等。谷歌目前使用200多種信號來幫助確定搜索結果的排序。

谷歌工程師發現,一些最重要的信號可能來自谷歌本身。PageRank將受歡迎程度植入了搜索引擎:成千上萬的網站民主地決定將鏈接指向哪些網站。但辛格 表示,谷歌工程師還利用了另一種民主——成千上萬使用谷歌搜索的用戶。用戶在搜索過程中產生的數據被證明同樣很有價值,這些數據包括他們點擊哪些結果、不 滿意時對關鍵詞的更改、查詢關鍵詞與所處地理位置的關係等。這一過程的最直接例子就是谷歌所說的“個性化搜索”——這是一個可選功能,利用用戶的搜索歷史 和地理位置來確定他想要找的內容(使用這項功能需要先登錄谷歌賬號)。更通常的方法是,谷歌利用其收集的大量數據支持其算法,谷歌對此有極深的理解,可以 解讀隱祕查詢的複雜意圖。

  “熱狗”與“煮狗”

以谷歌確定同義詞的方法爲例。辛格表示:“我們很早就有了一個有趣的發現,那就是用戶會更改查詢的關鍵詞。比如有人會搜索‘dog’,然後改成 ‘puppy’,因此搜索引擎就會得知‘dog’和‘puppy’可能是可以互換的。引擎也會知道,當你燒(boil)水時,水會變熱(hot)。我們從 人類的語義中學習,這是一個很大的進步。”

但這也有障礙。谷歌的同義詞系統知道“dog”和“puppy”類似,沸(boiling)水是熱的(hot)。但它同時會認爲“hot dog”(香腸夾心麪包)和“boiling puppy”(煮狗)是一樣的。通過路德維希·維特根斯坦(Ludwig Wittgenstein)的理論,該問題於2002年得以解決。該理論涉及上下文如何決定詞語的意思。當谷歌抓取並存儲數以億計的文件和網頁時,它會分 析哪些詞是彼此鄰近的。包含“hot dog”的頁面通常也包含“麪包”、“芥末”、和“棒球”,而不會包括對雜種狗的獵殺內容。這就幫助了搜索引擎理解“hot dog”和其他成千上萬個詞語的意思。辛格說:“現在,搜索引擎會知道bio在‘Gandhi bio’中是‘biography’(傳記)的縮寫,而在‘bio warfare’中是‘biological’(生物)的縮寫。”

在谷歌的發展過程中,該公司不斷設法增加新的排序信號,並且兼顧不會影響用戶的核心體驗。每幾年就會對系統做一次重大修改(有點像Windows的新版本),這在山景城是人盡皆知的,但其他人不會關注。

辛格說:“我們的任務是對這架以每小時1000公里在三萬英尺高空飛行的飛機的系統進行根本性更改。”2001年,爲了應對互聯網的飛速發展,辛格事實上 完全改寫了佩奇和布林的算法,以便使谷歌可以快速增加新的信號(新信號之一可以區分商業頁面和非商業頁面,從而爲購物者提供更好的結果),也是在這一年, 一位名叫克利什納·伯哈拉特(Krishna Bharat)的工程師認爲權威網站上的鏈接應該具有更大的權值,因此設計了一個強大的信號以便賦予這些鏈接更大的可信度(這是谷歌的第一個專利),最新 的一項修改的代號爲“咖啡因”,對整個系統進行了修改,從而使得工程師可以更容易地增加新的信號。

  谷歌識別語義的過程

谷歌以善於鼓勵這些創新而聞名,每年公司都會舉辦“瘋狂搜索創意”內部展示活動,以便鼓勵那些離奇但有應用潛力的創新。但大多數時候,改進的過程是充滿艱 辛的,需要矢志不渝的精神,需要面對嘗試過程中的打擊。有一個不成功的搜索已經成爲傳奇:2001年,辛格得知輸入“audrey fino”時無法搜到預期內容,而只是返回一些讚揚奧黛麗·赫本(Audrey Hepburn)的印度網頁,因爲在印度語中“fino”是好的意思。辛格說:“我們知道audrey fino是個人名,但我們的系統沒這麼聰明。”

這一失敗使辛格花了多年時間,試圖改進谷歌對姓名的搜索結果——因爲姓名佔總搜索量高達8%。爲了解決這一問題,他不得不掌握“bi-gram拆分”,也 就是將多個詞分割成獨立的單元。比如,“new york”合在一起組成一個bi-gram,指的是紐約。但也有三個字的情況,比如“new york times”,意思是紐約時報,很明顯二者指的不是同一樣東西。如果用戶輸入的是“new york times square”,意思又變成了紐約時代廣場。人類可以很容易做出區分,而谷歌不是由人工控制的,它依靠的是算法。

“Mike Siwek”這一搜索可以解釋谷歌是如何解決這一問題的。辛格輸入顯示代碼的命令後,我們就可以看到信號是如何決定搜索結果排序的:通過bi-gram可 以確定mike siwek是一個人名,lawyer是一個同義詞,mi是一個地名。辛格說:“從工程師的角度進行解構,系統會對這些詞進行分割,它會發現lawyer不 是姓氏,siwek不是中間名。同時lawyer也不是密歇根的一個鎮,因此它是attorney的同義詞。”

這是谷歌從無數次搜索中獲得的可貴知識。石頭可以是“rock”,可以是“stone”,還可以是“boulder”(漂石)。如果用戶輸入 “rokc”,谷歌仍會知道他想找的是“rock”。但如果在“rokc”前加“little”,谷歌則會知道這是“Arkansas”(阿肯色州)的首 府。“Arkansas”的縮寫是“ark”,與諾亞方舟同形,但谷歌會將二者區分開來。辛格說:“搜索中最重要的是理解用戶的意圖,因此你不是在匹配詞 語,而是在匹配意思。”

谷歌一直在不斷改進。近期,谷歌工程師莫琳·海曼斯(Maureen Heymans)發現了“Cindy Louise Greenslade”的搜索結果的問題。用戶輸入這些單詞時,算法會認爲應該找一個名叫Cindy Louise的人,於是在加利福尼亞的加登格羅夫市找到了一名心理學家,卻沒有把姓名爲“Cindy Louise Greenslade”的人的網頁放在結果的前十名。海曼斯發現,這是因爲“Cindy Louise Greenslade”習慣將名字縮寫成“Cindy L. Greenslade”。她表示:“我們的搜索引擎應該更聰明一點。”於是她增加了一個信號,用來尋找中間名的縮寫。現在正確的結果已經被排在了第五位。

 層出不窮的創新

在任何時候,谷歌高效運轉的測試系統都會進行幾十個這種改進。谷歌在全世界專門僱傭了上百人,這些人坐在家裏的電腦前判斷更改後的結果是更好還是更差。但谷歌還有一個更大的測試團隊,這就是成千上萬的谷歌用戶,他們不知不覺地加入了這項長期的質量實驗。

 每當工程師想測試一項技術調整時,他們會在一小批隨機用戶中運行這些算法,而絕大多數的用戶扮演的是參照組的角色。 需要測試的更改太多,因此谷歌放棄了一次只測試一項技術調整的策略。搜索質量工程師帕特里克·賴利(Patrick Riley)表示:“在大多數搜索過程中,你同時都處於多個‘實驗組’和‘參照組’之中。”但他隨後又做出了更正:“事實上,所有搜索都被捲入了實驗之 中,因此用戶每次用谷歌搜索,都作了一次‘小白鼠’。”

這種靈活性——增加信號、更改代碼、立即測試的能力——就是谷歌團隊爲什麼說他們可以應對來自必應、Twitter和Facebook的任何挑戰的原因。 事實上,在過去的六個月中,谷歌進行了200多項改進,其中一些似乎在模仿(但超越了)它的競爭對手(谷歌表示這只是巧合,稱其多年來一直在增加新功 能),其中之一就是實時搜索。

佩奇數月前曾表示谷歌應該每一秒鐘都搜索整個網絡,因此使這一功能備受期待。當用戶搜索具有時效性的話題時,谷歌結果頁面的10個藍色鏈接中會有一個“最 新結果”框。該框帶有拖動條,顯示的是從新聞媒體、博客和Twitter等獲得最新內容。同樣,谷歌使用信號來確保最有用的tweet(Twitter上 發佈的消息)出現在實時信息框中。

除了實時搜索,谷歌還引入了一項新功能,稱作“Goggles”。該功能可以將用戶手機上拍攝的照片視作搜索請求。谷歌一直努力將搜索變成一種隨時隨地的 行爲,“Goggles”也是該努力的一部分。有了攝像和語音識別功能,智能手機就會變成你的眼睛和耳朵。只要找到正確的信號,任何東西都可以變成搜索請 求。

成功的根源:僱傭合適的人才

谷歌的強大計算能力和帶寬爲公司提供了無可爭辯的優勢。有人聲稱這種優勢使創業公司無法對其發起挑戰。但曼博表示,谷歌成爲領導者並非僅僅因爲其基礎設施。他說:“最、最、最重要的因素是我們僱傭了合適的人才。”

按照所有的標準,陸奇都是算得上一名合適的人才,他是一位48歲的電腦科學家。曾經與陸奇在雅虎共事的曼博表示:“我對他懷有最高的敬意。”但陸奇去年初 離開了谷歌,前往微軟擔任必應團隊負責人。在被問到他的使命時,穿着牛仔和必應T恤、身材瘦小的陸奇字斟句酌地輕聲答道:“我們需要始終記住這是一個長久 的旅程,這一點極其重要。”他的眼神中流露出“我不會離開”的神情,就像電影《殺死比爾》中的烏瑪·瑟曼(Uma Thurman)一樣。

在過去十年中贏得了瀏覽器戰爭的微軟,在搜索方面似乎懷有“君子報仇,十年不晚”的想法,因爲它確信用戶除了谷歌算法還需要別的東西。微軟搜索發展主管哈 利·沙姆(Harry Shum)表示:“如果我們不對算法進行更改,將很難與現在的贏家抗衡,但我們打算對算法進行改進。”

然而,即使必應對算法進行改進,谷歌很可能做出同樣的更改。這就是谷歌成爲這樣一個令人生畏的對手的原因,它已經開發出了一個足夠敏捷的機器,以致可以吸 收任何可能對其造成威脅的創新——同時提供着對手無法匹敵的高質量搜索結果。任何人都可以發明一種買機票的新方法,但只有谷歌知道如何找到Mike Siwek。(欽亮)

谷歌算法是一項進行中的工作——不斷的調整和改進是爲了提供更高質量的搜索結果。以下是PageRan推出之後的一些主要增加項和更改。——史蒂芬·列維

  附:谷歌搜索大事記

1997年9月:Backrub搜索引擎

Backrub搜索引擎在斯坦福大學的服務器上運行了近兩年,之後改名Google。其突破性創新在於:按照一個網站被鏈接(網絡上指向該網站的鏈接)數量和質量對搜索結果進行排序。

2001年8月:新算法

搜索算法被完全改寫,以便更易於添加新的排序標準。

2003年2月:本地連接分析

這一功能給與權威性網站上的鏈接更大的權值,也使谷歌獲得了首個專利。

  2003年夏:Fritz

該項目使谷歌可以不斷隨時更新索引,而無需成批更新。

 2005年6月:個性化結果

用戶可以選擇讓谷歌分析其搜索行爲,以便提供個性化結果。

  2005年12月:Bigdaddy

對引擎進行了更新,使其可以更廣泛地抓取網頁內容。

  2007年5月:通用搜索

在圖片搜索、谷歌新聞、圖書搜索的基礎之上,通用搜索使用戶可以在同一搜索結果頁面上獲得不同媒介的內容。

  2009年12月:實時搜索

實時顯示Twitter和博客上的更新。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章