人工智能、神經網絡、深度學習這些概念的提出和研究，基本都是在歐美科學家的主導之下開展的。畢竟，當時的中國還處於從水深火熱轉爲解決溫飽的狀態，只有歐美等國具備這個研究條件。計算機類的科學研究，在早期不能不提“圖靈測試”。20 世紀中葉，人工智能之父圖靈，也有人說人工智能之父這一稱號屬於約翰·麥卡錫（發明至今廣泛應用於人工智能領域的Lisp 語言、最早建立人工智能實驗室等），反正都是偉人。圖靈提出對計算機是否有智能進行測試，當時還提出以象棋比賽進行人工智能的測試。圖靈表示，正如人類一樣，在測試計算機“IQ”之前，需要對它們進行一定的訓練。這一理論奠定了“圖靈測試”的基礎。
自圖靈提出“機器與智能”，一直就有兩派觀點，一派認爲實現人工智能必須用邏輯和符號系統，這一派看問題是自頂向下的；還有一派認爲通過仿造大腦可以達到人工智能，這一派是自底向上的，他們認定如果能造一臺機器，模擬大腦中的神經網絡，這臺機器就有智能了。前一派，我想用“想啥來啥”來形容；後一派就稱之爲“吃啥補啥”，估計他們的思想來源於中國古代的原始思維，套一句庸俗的哲學詞，前者偏唯心，後者偏唯物。這兩派一直是人工智能領域裏兩個階級、兩條路線的鬥爭，這鬥爭有時還你死我活。
圖靈是計算機領域的“祖師爺”, 是二戰英雄， 卻在悲涼中結束一生。電影《模仿遊戲》讓我們瞭解到了我們的歷史中還有這樣一個堪稱偉大的人物存在，艾倫·圖靈做出的貢獻遠不止於破譯密碼，而在於他用自己的執着與智慧阻止了更爲長久的戰爭。而且也稱得上是計算機界的“祖師爺”。我們不僅可以看到他在科學領域的“天才”，也能看到他在人格方面的“另類”以及由此承受的悲情。據說iphone的logo靈感來自於圖靈自殺時牀頭那顆咬了一口的“毒蘋果”。圖靈於1954年被發現死於家中，被認定是自殺，年僅41歲，非常可惜，一位天才。
麥卡錫在1927年9月4日生於美國波士頓一個共產黨家庭。1948年獲得加州理工學院數學學士學位，1951年獲得普林斯頓大學數學博士學位。作爲備受尊敬的計算機科學家、認知科學家，麥卡錫在1955年的達特矛斯會議上提出了“人工智能”一詞，並被譽爲人工智能之父，並將數學邏輯應用到了人工智能的早期形成中。麥卡錫在1958年發明了LISP語言（該語言至今仍在人工智能領域廣泛使用）並於1960年將其設計發表在《美國計算機學會通訊》上。他幫助推動了麻省理工學院的MAC項目。 然而，他在1962年了離開麻省理工學院，前往斯坦福大學並在那裏協助建立了斯坦福人工智能實驗室，成爲MAC項目多年來的一個友好的競爭對手。他因在人工智能領域的貢獻而在1971年獲得計算機界的最高獎項圖靈獎。
圖靈測試究竟是什麼東西呢？
圖靈測試（Turing test，又譯圖靈試驗）是圖靈提出的一個關於機器能否思考的著名判斷原則。1950 年，圖靈在曼徹斯特大學任教，同時也是曼徹斯特大學計算機實驗室的副主任，負責最早的真正的計算機——曼徹斯特一號的軟件工作。他發表了一篇題爲《機器能思考嗎？》（Can Machines Think?）的論文，在這篇論文裏，圖靈第一次提出“機器思維”的概念。他逐條反駁了機器不能思維的論調，做出了肯定的回答。同時，他嘗試定出一個決定機器是否有感覺的標準：在彼此不接觸的情況下，對話者通過一種特殊的方式（如具有電報通信功能的打字機等），與一臺計算機交流，也就是進行一系列的問答。如果在一段時間內，對話者無法根據這些問答判斷對方是人還是計算機，那麼，就可以認爲這臺計算機具備人類的智能，即這臺計算機是能思維的。這就是著名的“圖靈測試”。圖靈預言2000 年就可以出現騙過30%裁判的機器人。也正是這篇文章，爲圖靈贏得了一頂桂冠——“人工智能之父”。可以說圖靈確實牛，我從心底裏佩服他，在1947 年圖靈就已經闡述瞭如何對機器學習的結果進行檢查的方法，而且這一方法是很有遠見和可操作性的！
西方科學界是很高產的，環境好，能源源不斷地產出各種新思想和解決方案。實際上，在仿生派與圖靈提出“圖靈測試”之前，1943 年，傳奇人物麥卡洛可（McCulloch）和皮茨（Pitts）就發表了模擬神經網絡的原創文章。麥卡洛克-皮特斯模型 (McCulloch-Pitts model )簡稱MP模型一種神經元網絡模型.它是在1943年，由美國心理學家麥卡洛克(McCulloch, W. S. )和數學家皮特斯((Puts , W.)等提出的利用神經元網絡對信息進行處理的數學模型，從此人們開始了對神經元網絡的研究.
該模型的主要目的是完成對神經元狀態的描述.通過對大腦的分析，人們發現，從信息處理的功能看，神經元由以下特點:
1.多輸入單輸出.
2.突觸(傳遞神經衝動的地方)兼有興奮和抑制兩種性能.
3.能時間加權和空間加權.
4.可產生脈衝.
5.脈衝進行傳遞
6.非線性(有值).
話分兩頭。皮茨從小就喜歡數學和哲學，初中時就讀過羅素的書——《數學原理》。有興趣的讀者可以看看羅素的《數學原理》，反正我是看不懂，皮茨同學當時才初中！皮茨讀完這本書後估計是仰慕羅素，還給羅素寫信。羅素愛才，邀請他到英國跟隨自己學習邏輯，但皮茨家裏非常窮困，他連高中都沒有錢讀，英國留學自然是不可能了。皮茨15 歲時，他爸爸強行要他退學上班，就像所有愛讀書的窮孩子一樣，皮茨一怒就離家出走了。我記得我們初中那會有些同學是不願意上學而離家出走，而皮茨和那些從小就調皮逃課的同學有着本質的區別。後來，皮茨聽說羅素要到芝加哥大學任教，就隻身來到芝加哥，還真見到了羅素，羅素把他推薦給當時也在芝加哥任教的卡爾納普。卡爾納普想看看這孩子到底有多聰明，就把自己寫的《語言的邏輯句法》（感興趣的讀者可以自己去搜）送給皮茨，沒過一個月，皮茨就看完了，把寫滿筆記的原書還給卡爾納普。卡爾納普驚爲天人，於是給皮茨在芝加哥大學安排了一份打掃衛生的工作。可能有讀者會問，爲啥都驚爲天人了，只給打掃衛生的活？我想老卡主要是兩層用意，第一，掃馬路至少可以避免流浪街頭，有份固定工作，解決吃飯問題，皮茨是窮孩子啊！第二層用意估計是要再觀察下皮茨同學，畢竟他不是科班出身。皮茨後來結識了也在芝加哥的麥卡洛可。沃倫-麥卡洛可比皮茨大一輩，他本科在耶魯學哲學和心理學，後在哥倫比亞得了心理學碩士和醫學博士（MD)，其實醫學博士和哲學博士不是一回事，MD不是學術學位，屬終極職業學位，和MBA、MFA差不多。MD的那個D是指“醫生”，PhD的D纔是博士。麥卡洛可畢業後做了幾年實習醫生，先去了耶魯研究神經生理學，後又去了伊利諾伊大學芝加哥分校，做精神病學系的教授。麥卡洛可的強項是神經科學，他不懂數學，因此他和17 歲的皮茨是絕配。他們合作的成果就是神經網絡的第一篇文章：《神經活動中思想內在性的邏輯演算》（A Logical Calculus of Ideas Immanent in Nervous Activity），發表在《數學生物物理期刊》上。後來這篇文章成了控制論的思想源泉之一。
那麼問題來了，這個控制論又是是從哪兒冒出來的呢？要說控制論，就必須說說控制論的始作俑者諾伯特·維納。
諾伯特·維納早年自稱神童，他爸是哈佛教授，曾經帶着他到英國見過羅素，但羅素特別不喜歡這爺兒倆。自從進入20 世紀後，各種門派最牛的學問，最後都能扯到羅素那兒。維納後來也在哈佛任教，但不被主流數學家喜歡，沒拿到終身教職。最後只好到麻省理工學院落腳（沒錯，落腳，大家趨之若鶩的名校在人家眼裏和旅館差不多）。二戰時，他做槍炮控制方面的工作，引發了他對通信理論和反饋的興趣，他寫了《控制論》一書，促成了控制論的誕生。戰後發生了一件怪事，他邀請了人工智能、計算機科學和神經心理學的年輕學者到麻省理工學院，這其中就包括麥卡洛可和皮茨。維納的老婆瑪格麗特是德國移民，在二戰時，家裏還偷藏了一本英文版的希特勒寫的《我的奮鬥》。麥卡洛可的老婆是猶太人，與瑪格麗特形同水火。有一次，瑪格麗特對維納說，麥卡洛可小組有人（可能暗指皮茨）勾引咱們寶貝女兒芭芭拉，維納大怒，隨即斷絕和麥卡洛可及其學生的所有往來。現在看來瑪格麗特是有意造謠，但維納的舉動對皮茨造成巨大創傷，皮茨本來是維納的特招學生（special student），估計他年幼時受過挫折，故秉性怪異。和維納鬧翻後，他拒絕了麻省理工學院給他的研究生學位，對學問也心灰意冷。皮茨在1969 年離世，比他的長輩麥卡洛可還早去世幾個月，享年46 歲。從皮茨的經歷我們看出兩點：天才總是個性怪異的；不能因爲他人的造謠中斷自己的事業（皮茨多活兩年能解決不少問題）。
科學是講究一點傳承的，得維納真傳的人不多，所以我們不得不提邁克爾·阿比卜（Michael Arbib）。他23 歲就在維納手下獲得了PhD，他出名是因那本科普書《大腦、機器和數學》。阿比卜後來創辦了麻省理工學院的計算機系，並延攬一幫人工智能人馬，其中有後來以“強化學習”出名的巴託（Andy Barto），使麻省的人工智能一直處於領先地位。阿比卜後來轉往南加州大學，擔任很多系的教授，他的名片要是印出來，一堆頭銜，就差“政協委員”或“人大代表”了。阿比卜到南加州後，沒出過什麼有影響力的原創成果。在神經網絡不景氣時，巴託的實驗室曾經短期收容了很多人，其中就有後來的大佬級人物，如喬丹（Michael Jordan，不是那個籃球飛人），喬丹在伯克利時又培養了吳恩達（Andrew Ng） 等一干人馬。應該是統計機器學習老大吧。NIPS就是他及他弟子搞的。跟着伯克利Michael I. Jordan 教授做博士，要麼畢業後也大牛，要麼畢業直接廢了。據說，他對學生基本放養，不管學生，太忙，也沒時間管。(這其實是大牛的共性)。只給學生一個非常泛的課題，剩下的自己去搞吧。但由於他學生個人能力都特強，可以自己做出突破，所以大多畢業產出都不錯。他一個博士在博士論文致謝中寫到“感謝喬丹在我一開始讀博就放棄了我，對我不聞不問，讓我不得不提高自己獨立思考能力，獨立科研能力”來諷刺喬丹。據小道消息：他工資是伯克利統計系，CS裏工資最高的。
接下來講講接下來講講唐納德·赫布（Donald Olding Hebb）。
赫布是加拿大心理學家，在神經心理學領域有重要貢獻，他的研究方向是神經元在心理過程中的作用。1949 年，赫布出版了《行爲組織學》（Organization of Behavior），提出了知名的“赫布理論”。赫布理論主要認爲，當神經元A 的軸突與神經元B 很近並參與了對B 的重複持續的興奮時，這兩個神經元或其中一個便會發生某些生長過程或代謝變化，致使A 作爲能使B 興奮的細胞之一，它的效能增強了。由於對神經元的重複刺激，使得神經元之間的突觸強度增加。通俗地說，兩個神經元同時被某未知事件激發，它們就有可能再次被同時擊中，而且，被同時擊中的次數越多，再次被同時擊中的概率越高。2000 年，諾貝爾醫學獎得主肯德爾（Eric Kandel）的動物實驗也證實了赫布規則。後來的各種無監督機器學習算法或多或少都是赫布規則的變種。赫布提出的機制直到2000 年纔在生物學試驗中被證實並且確認是對的！只能拜服赫布了。唐納德·赫布（Donald Olding Hebb）。赫布是加拿大心理學家，在神經心理學領域有重要貢獻，他的研究方向是神經元在心理過程中的作用。1949 年，赫布出版了《行爲組織學》（Organization of Behavior），提出了知名的“赫布理論”。赫布理論主要認爲，當神經元A 的軸突與神經元B 很近並參與了對B 的重複持續的興奮時，這兩個神經元或其中一個便會發生某些生長過程或代謝變化，致使A 作爲能使B 興奮的細胞之一，它的效能增強了。由於對神經元的重複刺激，使得神經元之間的突觸強度增加。通俗地說，兩個神經元同時被某未知事件激發，它們就有可能再次被同時擊中，而且，被同時擊中的次數越多，再次被同時擊中的概率越高。2000 年，諾貝爾醫學獎得主肯德爾（Eric Kandel）的動物實驗也證實了赫布規則。後來的各種無監督機器學習算法或多或少都是赫布規則的變種。赫布提出的機制直到2000 年纔在生物學試驗中被證實並且確認是對的！只能拜服赫布了。
神經網絡研究的另一個突破是在1958 年。康奈爾大學的實驗心理學家弗蘭克·羅森布拉特（Frank Rosenblatt）在一臺IBM-704 計算機上模擬實現了一種他發明的叫作“感知機”（Perceptron）的神經網絡模型。這個模型可以完成一些簡單的視覺處理任務，這引起了轟動。他對這一個發明的潛力非常樂觀，預言說“感知器最終將能夠學習，做出決策和翻譯語言”。整個20 世紀60 年代，這一方向的研究工作都很活躍。羅森布拉特於1962 年出了一本書《神經動力學原理：感知機和大腦機制的理論》（Principles of Neurodynamics: Perceptrons and the Theory of BrainMechanisms），這本書總結了他的所有研究成果，一時成爲“仿生學”派的聖經。媒體對羅森布拉特也表現出了過度的關注。畢竟，能夠構建一臺可以模擬大腦的機器，當然是一個頭版頭條的搶眼消息。
馬文·明斯基（Marvin Lee Minsky）是人工智能的奠基人之一，是達特茅斯會議的組織者。
1951 年，他提出了關於思維如何萌發並形成的一些基本理論，並建造了一臺學習機，名爲Snare。Snare 是世界上第一個神經網絡模擬器，是人工智能最早的嘗試之一。他與麥卡錫、香農等人一起發起並組織了成爲人工智能起點的“達特茅斯會議”，在這個具有歷史意義的會議上，明斯基的Snare，麥卡錫的α-β搜索法，以及西蒙和紐厄爾的“邏輯理論家”（10sicTheorist）是會議的三大亮點。1958 年，明斯基從哈佛轉至麻省理工學院，同時麥卡錫也由達特茅斯來到MIT與他會合，他們在這裏共同創建了世界上第一個人工智能實驗室。明斯基在一次會議上和羅森布拉特大吵，他認爲神經網絡不能解決人工智能的問題。隨後，明斯基和麻省理工學院的另一位教授佩普特合作，企圖從理論上證明他們的觀點。他們合作的成果就是那本影響巨大、爭論無比的書《感知機》（Perceptrons）。在書中，明斯基和佩普特證明單層神經網絡不能解決XOR（異或）問題。異或是一個基本邏輯問題，如果這個問題都解決不了，那神經網絡的計算能力實在有限。其實羅森布拉特也已猜到“感知機”可能存在限制，特別是在符號處理方面，並以他神經心理學家的經驗指出，某些大腦受到傷害的人也不能處理符號。“仿生學”派的重挫其實是好事，應了那句老話“no pain，no gain”。歷史靜悄悄地等待着神經網絡學科十年後的大逆襲。由於被明斯基這樣的權威人士看衰，神經網絡和深度學習技術的研究迅速陷入了低谷，70年代則成爲了“人工智能的寒冬”。2014年加入谷歌的人工智能專家傑弗裏·辛頓(Geoffrey Hinton)當時正在讀研究生，他也感受到了這樣的“惡意”。當時，當他告訴周圍人自己正在研究人工神經網絡時，人們總會這樣迴應：“難道你不明白麼？這些東西沒用。”
相關研究直到1978年纔開始逐漸復甦，而其中的關鍵人物則是辛頓和哈佛大學神經生物學博士特里·謝伊諾斯基(Terry Sejnowski)。據《紐約時報》記者約翰·馬爾科夫(John Markoff)在《與機器人共舞》一書中介紹，1982年，辛頓舉辦了一場夏季研討會，主題是聯想記憶的並行模型，而與會的謝伊諾斯基當時正在探索如何通過新方式來爲大腦建模。他們的理念一拍即合。隨後幾年，從並行分佈處理方法起步，他們創造了新的多層網絡“玻爾茲曼網絡”。這項研究也證明，《感知機》一書中所做的預言，即感知機無法被推廣至多層網絡，是完全錯誤的。
補充下明斯基和羅森布拉特的糾葛。表面上他們倆是誰也不服誰的科學家，有點像牛頓和萊布尼茨，但他們至少從中學就互相認識，布朗克斯科學高中（Bronx）大概是全世界最好的高中，畢業生裏出過8 個諾貝爾獎、6 個普利策獎和1 個圖靈獎。明斯基是1945 年的畢業生，而羅森布拉特是1946 年的畢業生，美國高中學制4 年，明斯基和羅森布拉特至少有兩年重疊，而且彼此認識，是否從那時起就互相在學術上攀比着？1956 年的達特茅斯會議定義了“人工智能”這個詞，會議的組織者包括明斯基、麥卡錫和香農等，參會者有司馬賀、紐威爾等。這個會議在定義“人工智能”領域時只是提到了神經網絡。那時明斯基是神經網絡的支持者，但達特茅斯會議的主題並不是神經網絡，而是後來被紐維爾和司馬賀稱爲“物理符號系統”的東西。達特茅斯議，“思路模擬”派是主要基調。羅森布拉特被比他大一歲的明斯基妒忌是自然的。工作上，明斯基所負責的麻省理工學院的人工智能實驗室在向國防部和海軍申請經費。大多數的圈內科學家對羅森布拉特突然走紅很反感。明斯基早期也是“仿生”出身，但此時已經改爲“思路模擬”派了。由於他和佩普特對感知機的批判，倆人後來被“仿生”派稱爲“魔鬼搭檔”。被稱“魔鬼”是因爲《感知機》第一版有言：“羅森布拉特的論文大多沒有科學價值”。這話就有點拉大旗做虎皮的意思，但羅森布拉特人緣不好，沒有得到同行的支持也是一個原因。
1959 年，當時的另外兩位美國工程師維德羅（B.Widrow）和霍夫（M.Hoff）提出了自適應線性元件（Adaptive linear element，簡稱Adaline）。它是感知機的變化形式，也是機器學習的鼻祖模型之一。它與感知機的主要不同之處在於，Adaline 神經元有一個線性激活函數，這允許輸出是任意值，而不僅僅只是像感知機中那樣只能取0 或1。自適應線性元件的主要用途是線性逼近一個函數式而進行模式聯想。因爲同感知機的原理相似，羅森布拉特享受盛譽時，維德羅也沾了光。後期他主要從事集成電路方面的工作，沒有繼續在人工智能領域混下去。
感知機的暫時失敗導致神經網絡研究走入低谷，明斯基在《感知機》一書再版時，刪除了原版中對羅森布拉特的個人攻擊的句子，並手寫了“紀念羅森布拉特”（In memory of Frank Rosenblatt）。美國電氣電子工程師協會（IEEE）於2004 年特別設立了羅森布拉特獎，以獎勵在神經網絡領域的傑出研究。世事都是輪迴的，我們的老祖宗早就教導，得意時不要張揚，失落時不必萎頓。雖然信息科學和神經科學的結合一度不太順利，但這並沒有影響到神經生物學內部。哈佛神經生物學家大衛·休伯爾（David Hunter Hubel）和託斯坦·威澤爾（Torsten N. Wiesel）對視覺系統中視覺信息處理模式進行研究，他們爲此獲得1981 年的諾貝爾醫學獎。隨後，麻省理工學院英年早逝的大衛·考特尼·馬爾（David Courtnay Marr）將心理學、人工智能和神經生理學的研究成果結合起來，提出了全新的關於視覺處理的理論。他被認爲是計算神經科學的創始人，影響了後來連接主義的運動。
1974 年，哈佛的保羅·沃波斯（Paul Werbos）寫了一篇博士論文證明了在神經網絡多加一層，首次給出瞭如何訓練一般網絡的學習算法。“反向傳播算法”（Backpropagation Algorithm，簡稱BP 算法）是一種監督學習算法，常被用來訓練多層感知機。他後來得到了IEEE 神經網絡學會的先驅獎。沃波斯這篇文章剛發表時並沒引起多少重視，只因那時正是神經網絡研究的低谷，文章不合時宜。
神經網絡在20世紀80 年代開始復興，除了時運之外，應該部分歸功於物理學家霍普菲爾德（J. J. Hopfield）。1982 年，那時在加州理工擔任生物物理教授的霍普菲爾德，提出了一種新的神經網絡——霍普菲爾德神經網絡。霍普菲爾德神經網絡是一種遞歸神經網絡，是一種結合存儲系統和二元系統的神經網絡。它首次引入能量函數的概念，使神經網絡的平衡穩定狀態有了明確的判據方法，保證了向局部極小的收斂，但收斂到錯誤的局部極小值（Local Minimum），而非全局極小值（Global Minimum）的情況也可能發生。霍普菲爾德神經網絡僅對人工神經網絡的信息存儲和提取功能進行了非線性數學概括，提出了動力方程和學習方程，還對網絡算法提供了重要公式和參數，使人工神經網絡的構造和學習有了理論指導。1984 年，霍普菲爾德用模擬集成電路實現了自己提出的模型。大量學者又被激發起研究神經網絡的熱情，積極投身於這一領域。
1986 年，魯姆哈特（David Rumelhart）和麥克萊蘭（McCelland）等幾名學者提出的BP 神經網絡是神經網絡發展史上的里程碑。魯姆哈特於1963 年獲得南達科塔州大學心理學和數學的學士學位，之後，於1967 年在斯坦福獲得數學模式的心理學博士學位。1967 年至1987 年，在加州大學聖迭戈的心理學部門工作，1987 回到斯坦福，獲得教授頭銜，直到1998 年退休。魯姆哈特等學者完整地提出了BP 算法，系統地解決了多層網絡中隱單元連接權的學習問題，並在數學上給出了完整的推導。
神經網絡在20 世紀80 年代的光芒被後來的互聯網掩蓋了，但這幾年又恰恰是互聯網給了神經網絡更大的機會。這幾年，計算機科學最火的詞兒就是“深度學習”。神經網絡由一層一層的神經元構成，層數越多就越深，所謂深度學習就是用很多層神經元構成的神經網絡達到機器學習的功能。傑弗裏·辛頓（Geoffrey Hinton）是反向傳播算法和對比散度算法的發明人之一，也是深度學習的積極推動者，2006年他的一篇文章開闢了這個新領域。經過他改進的算法能夠對七層或更多層的深度神經網絡進行訓練，這讓計算機可以漸進地進行學習。隨着層次的增加，學習的精確性得到提升，同時該技術還極大地推動了非監督學習的發展，讓機器具備“自學”的能力。辛頓於1970 年在英國劍橋大學獲得文學學士學位，主修實驗心理學。此後於1978 年在愛丁堡大學獲得哲學博士學位，主修人工智能。此後他曾在薩塞克斯大學、加州大學聖迭戈分校、劍橋大學、卡內基梅隆大學和倫敦大學學院工作。他是蓋茨比計算神經科學中心的創始人，目前擔任多倫多大學計算機科學系教授。辛頓是機器學習領域的加拿大首席學者，也是加拿大高等研究院贊助的“神經計算和自適應感知”項目的領導者。辛頓和魯斯蘭·薩拉赫丁諾夫（RuslanSalakhutdinov）提出了一種在前饋神經網絡中進行有效訓練的算法。這一算法將網絡中的每一層視爲無監督的受限玻爾茲曼機，再使用有監督的反向傳播算法進行調優。他對神經網絡的其他貢獻包括分散表示（Distributed Representation）、時延神經網絡、專家混合系統（Mixtures of Experts）、亥姆霍茲機（HelmholtzMachines）等。年過六旬的辛頓不甘寂寞，在2013 年3 月加入谷歌，同時谷歌併購了他創辦的DNNresearch 公司。
2012 年，斯坦福大學人工智能實驗室主任吳恩達和谷歌合作建造了一個當時最大的神經網絡，這是谷歌神祕的X實驗室的一個計劃。這個世界上，第一個能夠讓機器識別“貓”的人就是他。吳恩達領導谷歌科學家，用16000 臺計算機搭建模擬了一個人腦神經網絡，並向這個網絡展示了1000萬段從YouTube 上隨機選取的視頻。結果，這個系統在沒有外界干涉的條件下，自己認識到“貓”是一種怎樣的動物，併成功找到了貓的照片，識別率爲81.7%，成爲“深度學習”領域的經典案例。
吳恩達於2014 年加入百度，成爲百度首席科學家，全面負責百度研究院，參與“百度大腦”計劃。“百度大腦”融合了深度學習算法、數據建模、大規模GPU 並行化平臺等技術，模擬神經元參數超過200 億個。雖然這注定是個勞民傷財的項目，但想想當年的阿波羅計劃，馮·布勞恩爲了少年時期的夢想，先後鼓動兩個國家傾舉國之力支持其航天夢想，耗時十餘年在美國打下了硅谷的基礎，間接成就了今天的世界。正是因爲不斷有人追尋自身的夢想，併爲之傾注畢生精力，人類纔不斷超越自己，不是嗎？
LeCun、Bengio和Hinton在深度學習領域的地位無人不知。Hinton被譽爲“神經網絡之父”，其歷史地位無人能及。LeCun推動和發展了當前最有用的神經網絡模型——卷積神經網絡。Bengio開創了神經網絡做語言模型的先河，並帶領團隊貢獻了大名鼎鼎的Theano。
近年，三位人工智能巨頭，成爲了各大科研機構及公司爭奪的焦點。Hinton的初創公司被Google收購，加入Google大腦項目。LeCun是紐約大學終身教授，而扎克伯格更是親任他爲Facebook人工智能實驗室負責人。Google蒙特利爾設立人工智能(AI)研究部門,併爲Bengio等人提供337萬美元的資金。三位牛人可謂是風光無限，可是誰能想到，在過去很長一段時間裏，三人一直處於窘迫和嘲笑之中。
之所以有“三巨頭”說法，一個重要原因是他們三人在神經網絡不被看好的年頭還一直堅持研究神經網絡，達了學術品位和信仰的境界。上世紀 60 年代，人工智能處於理論階段，遠未開始實踐，神經網絡的想法並不受待見，甚至受到學界同行的嘲笑。80 年代，Hinton 參與用計算機模擬大腦的研究，這也便是如今所說的深度學習。然而，學術期刊曾經因爲不認可神經網絡這一理念而頻頻拒收其論文。就算到了2004，學術界對他們的研究仍未提起興趣。
LeCun作爲Hinton的學生，帶着夢想和執着和他的導師一起堅持下來。Hinton曾評價說:“是LeCun高舉着火炬,衝過了最黑暗的時代。”可想而知，當時無論是資金支持還是學界態度，都非常不利，甚至到了黑暗的程度。而Bengio大神直到現在仍然全身心投在學術界教書。
30多年的堅持，對多數人來說，意味着一生精力和心血。設想一下，如果不是深度學習在人工智能領域取得了巨大成功，他們也許要坐一輩子的冷板凳。在驚歎其的成就的同時，更應該欽佩他們曾經在困境中的堅持，同時也應該向那些默默耕耘，但尚未取得成功的科研工作者致敬。正式他們的堅持和探索，才讓今天一個個奇蹟成爲現實。
此文引用多位博主的博文，多處均爲引用，後期會詳細添加引用地址。
引用地址：http://book.51cto.com/art/201606/513119.htm
http://blog.csdn.net/qq_26898461/article/details/48518249