Deep Learning前世今生,系列轉載

深度學習是機器學習研究中的一個新的領域,其動機在於建立、模擬人腦進行分析學習的神經網絡,它模仿人腦的機制來解釋數據,例如圖像,聲音和文本。深度學習是無監督學習的一種。
深度學習的概念源於人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵,以發現數據的分佈式特徵表示。
深度學習的概念由Hinton等人於2006年提出。基於深信度網(DBN)提出非監督貪心逐層訓練算法,爲解決深層結構相關的優化難題帶來希望,隨後提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網絡是第一個真正多層結構學習算法,它利用空間相對關係減少參數數目以提高訓練性能。

一、Deep Learning的前世今生

圖靈在 1950 年的論文裏,提出圖靈試驗的設想,即,隔牆對話,你將不知道與你談話的,是人還是電腦 [1]。

這無疑給計算機,尤其是人工智能,預設了一個很高的期望值。但是半個世紀過去了,人工智能的進展,遠遠沒有達到圖靈試驗的標準。這不僅讓多年翹首以待的人們,心灰意冷,認爲人工智能是忽悠,相關領域是“僞科學”。

2008 年 6 月,“連線”雜誌主編,Chris Anderson 發表文章,題目是 “理論的終極,數據的泛濫將讓科學方法過時”。並且文中還引述經典著作 “人工智能的現代方法”的合著者,時任 Google 研究總監的 Peter Norvig 的言論,說 “一切模型都是錯的。進而言之,拋棄它們,你就會成功”[2]。

言下之意,精巧的算法是無意義的。面對海量數據,即便只用簡單的算法,也能得到出色的結果。與其鑽研算法,不如研究雲計算,處理大數據。

如果這番言論,發生在 2006 年以前,可能我不會強力反駁。但是自 2006 年以來,機器學習領域,取得了突破性的進展。

圖靈試驗,至少不是那麼可望而不可即了。至於技術手段,不僅僅依賴於雲計算對大數據的並行處理能力,而且依賴於算法。這個算法就是,Deep Learning。

藉助於 Deep Learning 算法,人類終於找到了如何處理 “抽象概念”這個亙古難題的方法。

於是學界忙着延攬相關領域的大師。Alex Smola 加盟 CMU,就是這個背景下的插曲。懸念是 Geoffrey Hinton 和 Yoshua Bengio 這兩位牛人,最後會加盟哪所大學。

Geoffrey Hinton 曾經轉戰 Cambridge、CMU,目前任教University of Toronto。相信挖他的名校一定不少。

Yoshua Bengio 經歷比較簡單,McGill University 獲得博士後,去 MIT 追隨 Mike Jordan 做博士後。目前任教 University of Montreal。

Deep Learning 引爆的這場革命,不僅學術意義巨大,而且離錢很近,實在太近了。如果把相關技術難題比喻成一座山,那麼翻過這座山,山後就是特大露天金礦。技術難題解決以後,剩下的事情,就是動用資本和商業的強力手段,跑馬圈地了。

於是各大公司重兵集結,虎視眈眈。Google 兵分兩路,左路以 Jeff Dean 和 Andrew Ng 爲首,重點突破 Deep Learning 等等算法和應用 [3]。

Jeff Dean 在 Google 諸位 Fellows 中,名列榜首,GFS 就是他的傑作。Andrew Ng 本科時,就讀 CMU,後來去 MIT 追隨 Mike Jordan。Mike Jordan 在 MIT 人緣不好,後來憤然出走 UC Berkeley。Andrew Ng 毫不猶豫追隨導師,也去了 Berkeley。拿到博士後,任教 Stanford,是 Stanford 新生代教授中的佼佼者,同時兼職 Google。

Google 右路軍由 Amit Singhal 領軍,目標是構建 Knowledge Graph 基礎設施。

1996 年 Amit Singhal 從 Cornell University 拿到博士學位後,去 Bell Lab 工作,2000 年加盟 Google。據說他去 Google 面試時,對 Google 創始人 Sergey Brian 說,“Your engine is excellent, but let me rewirte it!”[4]

換了別人,說不定一個大巴掌就扇過去了。但是 Sergey Brian 大人大量,不僅不怪罪小夥子的輕狂,反而真的讓他從事新一代排名系統的研發。Amit Singhal 目前任職 Google 高級副總裁,掌管 Google 最核心的業務,搜索引擎。

Google 把王牌中之王牌,押寶在 Deep Learning 和 Knowledge Graph 上,目的是更快更大地奪取大數據革命的勝利果實。

Reference

[1] Turing Test.

http://en.wikipedia.org/wiki/Turing_test

[2] The End of Theory: The Data Deluge Makes the Scientific Method Obsolete

http://www.wired.com/science/discoveries/magazine/16-07/pb_theory

[3] Introduction to Deep Learning.

http://en.wikipedia.org/wiki/Deep_learning

[4] Interview with Amit Singhal, Google Fellow.

http://searchengineland.com/interview-with-amit-singhal-google-fellow-121342

原文鏈接:http://blog.sina.com.cn/s/blog_46d0a3930101fswl.html

作者微博:http://weibo.com/kandeng#1360336038853

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章