AI學術圈,又吵了起來,圖靈獎得主、年近古稀的機器學習奠基者、唱衰AI的代表人物等等,紛紛下場“開懟”。
相關話題在Twitter上轉發過千,點贊數萬,場面極其激烈。
究其源頭,起於一個直擊靈魂的問題:什麼是深度學習?
什麼是深度學習?
你可能會很自然地想起那段再熟悉不過的定義:
深度學習(DL)是一類機器學習算法,使用多個層逐步從原始數據中提取更高層的特徵。 ——維基百科
有點懵逼?
現在,有人給出了更明確的說法,出手者不是旁人,正是深度學習三巨頭之一,圖靈獎得主Yann LeCun。他說:
有些人似乎仍然對什麼是深度學習感到困惑。以下是深度學習的定義:深度學習就是構建由參數化功能模塊構成的網絡,並利用基於梯度的優化方法進行樣本訓練。 與此定義正交的是學習範式:強化學習、監督學習或自監督學習。不要說“深度學習沒法做X” ,如果你真正想的是“監督學習需要太多數據所以沒法做X”。 對於其擴展形態(動態網絡、可微編程、圖神經網絡等),網絡結構可以依數據動態變化。
這話之後還沒完,他又一口氣放出了5個排比句,對當前深度學習領域出現的“術語”進行了解讀:
別說“DL對對抗樣本很敏感”,你真正的意思是“受監督的卷積神經網絡對對抗樣本很敏感”。 別說“DL存在偏見”,你真正的意思是“純監督學習再現了訓練數據中的偏見”。 別說“DL無法處理組合性”,你真正的意思是“此特定體系結構不能推廣到許多以前不可見的部件組合”。 別說“DL不做邏輯推理”,你真正的意思是“一個簡單的前饋神經網絡不能做長鏈的推理”。 別說“DL不做因果推理”,你真正的意思是“一個普通的、有監督的神經網絡不會自發地發現因果關係。”
本來是對自己去年初提出的觀點——“深度學習不再是流行概念”進行了一次迴應。
但誰能想到,推文一出,各路大神紛紛出面發表觀點,展開了激烈的討論。
一場大型“互懟現場”就此拉開序幕。
機器學習奠基人下場激辯
馬庫斯開槓LeCun
第一批下場的,有DeepMind的高級研究科學家Danilo Jimenez Rezende。
他點贊認同,對Yann LeCun的觀點進行了簡要總結:
深度學習是用於構建複雜模塊化可微函數的工具的集合。討論深度學習能做或不能做什麼毫無意義。真正有意義的是如何訓練它,以及如何把數據餵給它。
但知名AI“槓精”——馬庫斯看到這條推特,當場不幹了:
如果不能討論一種方法可以做什麼不能做什麼,那它還算是一種方法? 推崇深度學習的人現在爲了不被批評,總是在儘量避免提出具體、可驗證的主張。這是有一個很危險的信號。
機器學習先驅下場反擊:深度學習是方法論
對此,機器學習領域奠基人之一、AAAI前主席Thomas G. Dietterich迅速下場回擊:
深度學習本來就不是一種方法,而是方法論。是一種研究路徑。
結果,這一辯論分會場又炸出了另一位大佬——機器人教父Rodney Brooks。
他說:啊,所以深度學習是AI還是AGI哇?還是說人能想到的未來科技都基於深度學習?
這一發言似乎又點燃了馬庫斯新的戰鬥熱情:
Rodney Brooks說得對啊!深度學習社區現在給自己的定位就是所有未來科技都將歸功於DL,但他們並沒有真正致力於任何事情。 等着吧,我馬上就會火力全開。
面對這樣的“挑釁”,Dietterich表示圖樣圖森破:DL(以及AI社區)的目標是推動智能系統的科學和工程進步,而不是成爲嘴炮王者。
深度學習沒有定義“是什麼”,而是“如何進行”
在各方互懟之外,Keras創造者François Chollet也另開新帖,對“什麼是深度學習”發表了觀點。
他認爲,截至現在,深度學習的定義對他來說過於“嚴格”。並且和以下情況是相反的:
⑴ 非表徵性學習(如SIFT、symbolic AI等人工特徵工程); ⑵ “淺層學習(shadow learning)”,其中只有一個特徵提取層。
此外,它沒有規定一個特定的學習機制(如反向傳播)或一個特定的用例(如監督學習或強化學習),也不需要端到端的聯合學習。
現在的定義描述的是我們該如何進行深度學習,而不是它是什麼。
而現在的深度學習的定義,只是給出了一個比較清晰邊界:哪些是深度學習,哪些不是。例如:
DNN是深度學習,而遺傳編程、快速排序和支持向量機就不屬於深度學習。
單個的密集層(dense layer)不是深度學習,而密集堆棧(dense stack)是深度學習。
K-means不是深度學習,而堆疊K-means特徵提取器是深度學習。
通常由人類工程師編寫的程序不是DL,參數化這樣的程序來自動學習一些常量仍然不是DL。
需要用一連串的特徵提取器來進行表徵學習。
François Chollet認爲,深度學習模型只代表了很小很小的程序空間。
本來Chollet並未加入論戰,誰知道還是被拉下了水。
有好事網友Ben Kamphaus在馬庫斯的推文下,當場@了他,還有另一位深度學習巨頭、圖靈獎得主Bengio,他說:
Bengio、Chollet以及其他人正在對需要解決的問題進行實質性的處理了。 不知道那些憤怒高呼讓DL研究人員去做他們已經做了很多年工作的人,對解決這個問題有什麼幫助。
馬庫斯則坦然解釋說:
我很瞭解Bengio和Chollet,只是希望他們更坦率些。 你曲解我的意思了。
對於馬庫斯的這一說法,Bengio和Chollet都沒有給出直接回應。
吃瓜羣衆一臉懵逼
場面上,感覺大半個AI學術圈都下場爭鳴了。如此盛景,吃瓜羣衆不免有些懵逼。
有人問:這個問題這麼棘手的嗎?
當然,還有一臉懵逼的。
鈦媒體注:本文來自於微信公衆號量子位(ID:QbitAI),作者爲魚羊、十三,鈦媒體經授權發佈。