深度學習的封神榜 - 1

沃爾特·皮茨與麥卡洛克(Walter Pitts 和 Warren McCulloch)

二人是神經網絡真正意義上的鼻祖。 麥克洛克是神經學家,說白了,他是醫生。 皮茨是天才的數學家。二人對人類大腦做建模,寫了篇論文 《神經活動中思想內在性的邏輯演算》。


皮茨是神童,但更是個苦孩子,家裏貧窮,上不起學。他的故事,類似電影《心靈捕手》裏的馬特達蒙。羅素、卡爾普納、恩維納幾位大師都賞識這孩子,可惜跟恩維納相處很不愉快,維納博士爲人有點糊塗,有點邪僻,二人之間的齷蹉當怪責維納。麥克洛克對皮茨如父,二人一直合作愉快,情同父子,甚至死亡也相隔不久,令人唏噓。

論文提出大腦其實就是個電子計算機。每個神經元都有 “激活”、“不激活” 兩種狀態,而其他神經元的輸入信號,經過加權取和並判斷,決定這個神經元的是否激活。激活的神經元構成的環路,就是人類的記憶。這和數字電路完全是一個道理,人們稱呼他們提出的機構爲 MP 神經元結構。

這篇論文真是開天闢地。 用一個簡單的模型,宣告了人類思想神祕主義的破產。這論文還是馮諾依曼計算機架構、恩維納控制論的思想源泉,更是 AI 神經網絡的源頭。不過,這個模型很簡單,所以,生物學家們不鳥這個。

唐納德·赫布(Donald Hebb)

電影黑衣人裏,特工配備一把記憶消除棒,閃一下,就抹除掉一段記憶。這個真不是妄想,人類的記憶是有生物學基礎的,真是可以抹掉的。 對人類記憶認知的生物學基礎,來自赫布。 而 AI 神經網絡的生物學基礎,也是來自赫布。

唐納德·赫布,加拿大人,他是研究神經心理學的。爲弗洛伊德、巴甫洛夫這些大仙找到生物學理論。 巴甫洛夫說,餵狗食物時搖鈴鐺,之後只要搖鈴鐺狗就流口水。 赫布說,這是因爲同時被激發的神經元之間形成了迴路。 這就是大名鼎鼎的赫布法則(Hebbian Rule)。

有了赫布法則,人類也就沒了靈魂,或者說沒了那種能脫離肉體,飄在空中,對抗唯物主義的靈魂。 怕鬼的孩子們別怕了,壓根就沒那回事,人的思維和記憶只是神經細胞觸鬚之間的聯繫罷了。人的身體、人的大腦,都只是複雜的肉體機器,別想太多了。

之後 AI 的神經網絡中無監督學習,就以赫布法則爲生物學理論基礎,即,我們是在學習人類大腦的機制。赫布的理論對生物、心理乃至機械等領域都影響巨大。順着赫布的理論研究,科學家們開始嘗試編輯記憶,多麼科幻啊。

弗蘭克羅森布拉格(Frank Rosenblatt)

羅森布拉格乃是機器學習和神經網絡 AI 真正的父親。 麥卡洛克與皮茨提出的 MP 神經元,是開創性的,但只能用來計算。 而羅森布拉格提出的感知機 (Perceptron)則是能夠“學習”。 在 MP 結構中,神經元的權重是人指定的,而感知機是根據數據自己學習出權重參數。另外,MP 是一層的,僅僅模擬一個神經元,而感知機是二層的。

羅森布拉格真的造出了一臺機器,是IBM-704機器上實現了感知機,後來美國海軍和國防部給了他一大筆錢。各種報道也是聳人聽聞,吹噓羅森布拉格馬上就能搗鼓出真正的機器人了。羅森布拉格有了錢,香車寶馬,奢華了一把,讓學界的窮科學家們很是生氣,招惹了不少仇人。後來,明斯基的書《感知機:計算幾何學介紹》一出,指出感知機很笨,連“異或”邏輯都不能處理,感知機的熱度立刻到達冰點,羅森布拉格也就沒錢了。 1971年他43歲的時候,沉湖自盡,不知是意外還是自殺。據傳,明斯基與羅森布拉特有點私仇,不知真假。

後來,神經網絡再次復活,支持神經網絡的科學家們紛紛紀念羅森布拉特,IEEE 開了哥羅森普拉特的獎。另一面,神經網絡研究者也把怒火噴嚮明斯基,認爲是他妨礙阻擋了神經網絡的發展。

馬文明斯基 (Marvin Lee Minsky)

馬文明斯基是人工智能之父,之所以稱之爲父,是因爲 AI 這個詞,就是麥卡錫與明斯基在 1956 年達特茅斯會議上提出來的。這個被視爲現代 AI 起點的達特茅斯會議也是麥卡錫和明斯基二人攢起來的。 麥卡錫和明斯基二人關係甚密切,都是普林斯頓大學的博士,從師承上說,麥卡錫算是明斯基的師叔,後來二人又一起在 MIT 同事,建了 MIT 的人工智能實驗室。

參加達特茅斯會議的科學家們,有 5 人獲得圖靈獎,明斯基是其中的第一人。明斯基是紐約人,高中畢業於布朗高中,後入哈佛大學。哈佛人人皆知,布朗克斯雖然不那麼知名,但這所高中,可謂雞娃世界第一,不論是諾貝爾獎人數,還是圖靈獎人數都是世界第一高中。


馬文明斯基最初是贊成神經網絡的,他的博士論文就是關於神經網絡的。但後來,他反對神經網絡。主要是因爲他跟羅森布拉格是同門師兄弟,都是布朗克斯高中的,所以有點同門相殘的意思。 羅森布拉格鼎盛時期,明斯基寫了本書《感知機:計算幾何學介紹》,對羅森布拉格的感知機做了駁斥,指出感知機不能處理異或邏輯,一下子砸了羅森布拉格的生意。後來,明斯基又改變了主意,支持神經網絡,甚至在自己的著作中特意紀念羅森布拉格。

但明斯基這本書是神經網絡第一次寒冬的導火索,由此,神經網絡蕭條近20年,學界人人視神經網絡爲僞學。

馬文明斯基除了在人工智能上的建樹外,還提出過框架理論(Framework),後來成了面向對象的理論來源。今天大火的元宇宙,如果追溯一下的話,1960年代馬文明斯基就提出來了,他稱之爲 telepresence,基本就是今天又被炒作起來的元宇宙。

明斯基之所以上了深度學習封神榜,乃是因爲他對神經網絡的批評,是他觸發了神經網絡的第一次寒冬,所以,他是深度學習的衰神那。而他的師叔麥卡錫就在此榜中不表,因爲麥卡錫與深度學習並無關係。

John Hopfield (約翰霍普菲爾德)

霍普菲爾德是物理學家,並非生物學家,也不是計算理論家。霍普菲爾德在加州理工做生物物理學教授,1982 年他提出了霍普菲爾德網絡,其實就是一種全連接的神經網絡,每個節點連接所有節點。錄入初始值後,經過計算學習,系統穩定在一個參數集上。霍普菲爾德是從物理的動力系統出發,設計了這個神經網絡,這種網絡可以存儲數據,還可以解決TSP優化問題。


霍普菲爾德網絡並非用來學習,但它對後來的遞歸神經網絡 RNN 有啓發的作用。另外,霍普菲爾德網絡再次引起了人們對神經網絡的興趣,神經網絡開始走出低谷。

保羅·沃伯斯(Paul Werbos) 

沃伯斯1974 年還是哈佛大學的一名博士生,他發表了一篇論文,說明了多層神經網絡中使用反向傳播能夠提高學習效率。所以,較真兒的人,會說沃伯斯是反向傳播之父,不較真兒的人,會說辛頓是反向傳播之父。其實,辛頓已經否認了自己是反向傳播的原創者,他說自己的貢獻是使用反向傳播學習分佈式表徵。然而,如果再較真兒一點,沃伯斯也不是反向傳播之父。1974年芬蘭碩士生Seppo Linnainmaa就提出過誤差在網絡結構中的反向傳播方法,但他並未提及神經網絡,他的算法雖然有效,但並非爲了神經網絡而設計。更早一點,Henry J. Kelley 在1960年也曾經提出過反向傳播算法,Kelley 是格魯曼飛機工程公司的工程研究人員,他在論文爲了計算飛機航程而提出了反向傳播算法。

當然,榮譽都歸於辛頓了,沃伯斯發表反向傳播時,神經網絡正冷,所以就無人問津。這也說明一件事,真是時代造英雄,而不一定是英雄造時代,硬件和數據沒到位,沃伯斯再聰明都沒用。令人懷疑,是不是在中華上古的夏商周,有中華兒女提出過完整的深度學習算法,但是,被部落的人用石頭砸死了。但美國科學界的人還算仗義,1995 年 IEEE 給沃伯斯發了一個神經網絡先鋒獎,算是一個告慰吧。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章