錯失神經網絡之父！百度的AI祕史

↑↑↑點擊上方藍字，回覆資料，10個G的驚喜

機器之心報道 機器之心編輯部

一天傍晚，他們望向窗外。兩架飛機交叉飛過，在山峯上空留下一個巨大的「X」形的尾跡。他們興奮地思考着這其中的含義，然後纔想起來谷歌總部就建在一個名叫「山景城」的地方。「這是不是表示我們應該加入谷歌？」Hinton 問道，「還是暗示我們不要去？」

這是神經網絡之父 Geoffrey Hinton 和他的兩個學生——Alex Krizhevsky 、Ilya Sutskever——之間的一段對話。對話發生在 2012 年 12 月。對於整個人工智能領域來說，這是非常重要的一個年份。

在這一年的 ImageNet 挑戰賽上，Hinton 和 Krizhevsky、Sutskever 提出的深度神經網絡 AlexNet 一騎絕塵，將圖像分類的錯誤率降低了一半，以遠超第二名的成績拿到了比賽的冠軍，證明了深度學習的巨大潛力。

Ilya Sutskever（左）、Alex Krizhevsky（中）和 Geoffrey Hinton（右）。

如此重大的進展自然逃不過科技巨頭的敏銳觸角。論文剛發出幾天，Hinton 就收到了一封來自中國的電子郵件。發信者是餘凱，彼時，他剛剛加入百度，領導新成立的多媒體部。

餘凱和 Hinton 相識於加拿大的一個學術研討會，兩人的共同之處在於：他們都相信神經網絡存在巨大潛力。在看到論文之後，餘凱告訴百度高層，他們應該儘快招募 Hinton。通過這封電子郵件，餘凱把 Hinton 引薦給了百度的一位副總裁，這位副總裁立即給出了高達 1200 萬美元的 offer，邀請 Hinton 和他的學生爲百度工作幾年。

但與此同時，其他科技科技巨頭也在給 Hinton 的辦公室打電話，一場人才爭奪戰就此展開。從今天的角度來看，這場爭奪戰不僅決定了 Hinton、Krizhevsky、Sutskever 三人的去留，也是一把發令槍，標誌着巨頭之間的深度學習軍備競賽就此拉開帷幕。

很長一段時間裏，外界都不知道究竟有哪些巨頭參與了這場爭奪戰，也不知道他們以怎樣的形式展開交鋒。但最近出版的一本新書爲我們揭開了這一謎底。

這本書的作者是《紐約時報》記者 Cade Metz，書中描寫了幾家科技巨頭圍繞 Hinton 等人展開的一場 AI 人才與技術競爭。雖然 Hinton 和幾家參與競標的公司簽署了保密協議，但時過境遷，AI 賽道的幾個頭部玩家早已站穩腳跟，這些往事也就沒有了保密的必要。透過《連線》關於此書的一篇報道，我們可以大體知道當年究竟發生了什麼。

四家巨頭的角逐

前面說到，AlexNet 的問世讓全世界都看到了深度學習的巨大潛力，百度也在第一時間給出了 1200 萬美元的 offer。但就在雙方即將達成協議之際，Hinton 猶豫了，因爲美國的幾家巨頭也向他拋出了橄欖枝。

在兩個學生的激勵下，Hinton 意識到，百度及其競爭對手更有可能斥巨資收購一家公司，而不是花同樣的錢從學術界僱傭幾個新員工。於是，Hinton 就創建了自己的公司，並將其命名爲 DNNresearch。

但是，這家公司只有三名員工，沒有產品，也沒有歷史，怎麼才能賣個好價錢呢？Hinton 帶着這個問題去諮詢了律師。律師給出了兩條建議，一是聘請一位談判專家，但是這個做法有激怒潛在買家的風險；二是組織一場競拍，價高者得。權衡利弊之後，Hinton 等人選擇了後者。

Hinton 將競拍的時間選在了 2012 年的 12 月份，這也是當年的 NeurIPS 大會舉辦的時間。在他看來，那年的 NeurIPS 大會是舉行高風險拍賣的理想場所，因爲大會地點就選在兩家著名的賭場酒店 Harrahs 和 Harveys。

對於 Hinton 來說，這趟從加拿大到美國的旅程並不輕鬆，因爲他只能躺在交通工具上，否則就會有椎間盤突出的風險。

拍賣周前夕，谷歌高級副總裁 Alan Eustace 駕駛自己的雙引擎飛機降落在機場，與他一起代表谷歌的還有 Jeff Dean。百度派出的代表則是餘凱。其他幾個潛在買家還包括微軟和剛成立兩年的 DeepMind。

整個競拍過程通過電子郵件的方式進行，競標者們並不知道彼此的身份，只和 Hinton 團隊單獨見面或溝通。

Hinton 在自己下榻的 Harrah 酒店 731 房間裏主持競拍。他每天都會爲下一輪競標設定一個時間，然後和他的學生在筆記本電腦上查看競標數據。爲了方便 Hinton 站着打字，他們把兩個垃圾桶倒扣在牀尾的書桌上，然後把筆記本電腦架在上面。

拍賣規則很簡單：在每輪出價之後，四家公司都有一個小時的時間將出價提高至少 100 萬美元。一小時後，如果沒有人給出更好的價格，競拍就結束了。

第一個出局的是 DeepMind。這家公司給出的籌碼是自己的股票，而非現金。

從 1500 萬到 2000 萬，DNNresearch 的身價不斷攀升。中途，微軟也退出過一次，但之後又回來了。

到了 2200 萬美元，Hinton 暫停了競拍並與其中一家公司展開了討論。

半小時後，微軟再次退出，只剩下百度和谷歌兩家公司。

在新一輪的出價中，DNNresearch 身價漲到了 2400 萬美元。百度總部的高管開始親自參與競標。

競拍過程中，餘凱會時不時地到 Hinton 的房間轉一轉，希望打聽到哪怕一點點消息。但他不知道的是，他的每次到來都會讓 Hinton 的兩個學生手忙腳亂。

酒店所在的太浩湖空氣又冷又幹，Hinton 在這樣的環境中很容易生病。因此，他在酒店房間自制了一套加溼器——把沙發墊子鋪在牀邊，中間蓋上熨衣板等比較長的物體，然後再把溼毛巾鋪在上面。但是，Hinton 不想讓餘凱等科技巨頭代表看到這套設備。用他自己的話來說就是：「我不想讓他們看到我又老又衰（ old and decrepit）」。因此，餘凱每來一次，Hinton 的學生就要收拾一次。他還跟兩個收牀墊的學生說：「這是副總裁才能乾的活兒。」

有一次，餘凱離開房間時沒有帶揹包。Hinton 和他的學生注意到了這個揹包，他們想，要不要打開它？看看百度到底願意出多少錢。但他們知道這樣做不對，所以後來也沒有打開。

隨着拍賣過程的深入，他們很快發現，百度總是願意出更高的價格：2500 萬美元、3000 萬美元、3500 萬美元。後來，Hinton 把競價窗口時間從 1 小時縮短到 30 分鐘。隨後出價迅速攀升到了 4000 萬美元、4100 萬美元、4200 萬美元、4300 萬美元。

Hinton 說：「感覺我們就像在電影裏一樣。」價格在午夜時分達到了 4400 萬美元。這一刻，他再次暫停競標，他需要睡覺。第二天， 大約在投標開始前 30 分鐘，Hinton 發了一封電子郵件說開始時間要推遲一會兒。

大約一個小時後，他又發了一封宣告拍賣結束的郵件。Hinton 決定把他的公司賣給谷歌，而不是繼續擡高價格。在給百度的電子郵件中，他說公司發送的任何其他信息都會轉發給他的新僱主，但他沒有說僱主是誰。

一場新的比賽開始了

Hinton 的背不好，他應該不會去中國。餘凱猜到 Hinton 最終會去谷歌，或者至少是一家美國公司，但百度位列「競拍者」之席總歸是一件好事。在這次拍賣過程中，他們意識到深度學習技術將在未來的幾年變得非常重要。

當 Hinton 宣佈自己將以 4400 萬美元的價格停止拍賣時，競標者們認爲他是在開玩笑——難道 Hinton 會放棄源源不斷的美元？

其實對他來說，爲自己的研究找到合適的歸屬比要價更重要。他們是學者，不是企業家，更忠於自己的想法，而不是其他任何東西。

Hinton 沒有意識到他們的想法多麼值錢，也沒人意識到深度學習的興起對全球科技發展的深遠影響。深度學習讓機器可以從大量的數據中學習經驗並加以應用，甚至無人能夠真正理解其背後的工作原理。其結果是一種新的計算類型，不僅比以前的任何東西都更強大，而且更神祕和不可預測。

但敗也敗在這種強大的能力，隨着谷歌等多個科技巨頭採用這項技術，越來越多的人意識到深度學習技術同時也學習了研究者本身的偏見。

競拍結束後，餘凱登上了回北京的航班，同在這一航班上的還有華人學者鄧力。鄧力也參加了 Hinton 的拍賣，代表的是微軟。兩人花了幾個小時的時間討論深度學習的崛起。但由於參與的是保密競拍，雙方都儘量規避與此次競拍相關的話題。雖然沒有明說，但兩人都知道，新的競爭即將到來，這場拍賣就好比一聲發令槍。他們的公司都要開始正視谷歌在深度學習領域的重大舉措了。

這是一場全球軍備競賽的開始，在幾年內以看似荒謬的方式迅速升級。

起初，這場競賽只吸引了一小部分科學家，這些人主要分佈在參與 Hinton 拍賣的四家公司。後來的事情我們也知道了，他們的研究工作大部分成爲了科技行業的焦點。

彼時默默無聞的倫敦初創公司 DeepMind，在後來的十年內成長爲最著名和最有影響力的 AI 實驗室，其動力來自聯合創始人 Demis Hassabis 的遠大理想：製造能夠實現通用 AI 的機器。Hinton 和 Hassabis 對這一目標的想法有些出入，但 2014 年 1 月，谷歌收購了 DeepMind，他們開始在同一家母公司的傘下從事研究工作。 

最終，Facebook 和一家名爲 OpenAI 的初創公司也將加入競爭，微軟在 2019 年向後者投資了 10 億美元用於開發通用 AI 平臺。這些入局者之間的競爭將極大地加速人工智能的進步，包括對話數字助手、自動駕駛汽車、智能機器人、醫療保健等方面的應用，遠遠超過了 Hinton 團隊的初衷。

離開 731 房間後，Hinton 登上了一列火車，準備返回多倫多——他仍然沒有坐下。多年後，在 2017 年，當他被要求透露競標他的初創公司的公司時，他以自己的方式回答了。

「我簽了合同，永遠不會透露我們和誰談過。我和微軟簽了一個，和百度簽了一個，和谷歌簽了一個。」他沒有提及 DeepMind，這意味着一些拍賣參與者直到現在纔拿到當年競爭對手的完整名單。

參考鏈接：

https://www.wired.com/story/secret-auction-race-ai-supremacy-google-microsoft-baidu/

 
    
    
    

  
     
     
     
 
    
    
    
 
    
    
    

     
     
     
  也可以加一下老胡的微信
 
    
    
    
 
    
    
    

     
     
     
  圍觀朋友圈~~~
 
    
    
    



   
   
   

 
    
    
    

  
     
     
     

   
      
      
      

    
       
       
       
 
        
 
         
 
          
推薦閱讀
 
         
 
        
 
        
 
         
（點擊標題可跳轉閱讀）
 
        
 
        
 
         
 
          
 
           
 
            
我愛線代，線代使我快樂
 
            
麻省理工學院計算機課程【中文版】
 
            
【清華大學王東老師】現代機器學習技術導論.pdf
 
            
機器學習中令你事半功倍的pipeline處理機制
 
            
機器學習避坑指南：訓練集/測試集分佈一致性檢查
 
            
機器學習深度研究：特徵選擇中幾個重要的統計學概念
 
           
 
          
 
         
 
        
 
       
   
      
      
      
  
     
     
     
 
    
    
    

   
   
   
老鐵，三連支持一下，好嗎？↓↓↓

本文分享自微信公衆號 - 機器學習算法與Python實戰（tjxj666）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。