來源：混沌巡洋艦
今天的科學家對於機器可以學習做什麼的想法與我們10年前完全不同。
在圖像處理、語音和視頻處理、機器視覺、自然語言處理和經典的雙人遊戲中，特別是在過去的十年中，隨着在一系列公共組織的挑戰問題（例如圍棋，圖像分類）上，機器學習的表現超出預期記錄，相關技術得到了迅速的推進。在許多這些挑戰中，記錄現在已經達到或超過了人類的水平。
2010年的一場比賽證明，當時的圍棋電腦軟件無法擊敗強大的人類圍棋選手。2020年的今天，沒有人相信人類圍棋選手——包括人類世界冠軍李世石——能夠打敗過去10年建立起來的 AlphaGo。這些新的記錄，以及它們取得成就的方式，已經超越了10年前的期望。當時，人類水平的性能似乎還有很長的路要走，而且對於許多人來說，似乎沒有任何可用的技術能夠提供這樣的性能。
像 AlphaGo 這樣的系統在過去的十年中，受益於幾個方面同時出現的出人意料的進步。一方面，我們看到了以雲計算爲代表的前所未有的隨需應變的可擴展計算能力，另一方面，一些全球最大的技術公司從全球化的人才庫中，組建工程師團隊進行了大規模的算法優化。這些資源在過去十年中穩步部署，以便能夠迅速擴大應對挑戰問題的業績。
21世紀10年代產生了真正的技術爆炸: 大量圖片和文本數據的突然公開。隨着“大數據”這個詞進入媒體的視野，數十億人在社交媒體上張貼了數萬億張圖片和文件。圖像處理和自然語言處理被這種新的數據資源永遠改變了，因爲他們利用計算能力的革命性增長，以及新的全球化人才庫來挖掘新的圖像和文本資源。
圖像處理領域首先感受到了新數據的影響，李飛飛和她的合作者從網上提出了 ImageNet 數據集，爲一系列年度 ImageNet 大規模視覺識別挑戰(ILSVRC)預測挑戰賽提供了數據集。這些比賽爲機器學習中深度學習範式的出現和不斷完善提供了一個平臺。
深層神經網絡至少從20世紀80年代以來一直穩步發展，然而，試錯的啓發式方法阻止了對其進行理論化分析的嘗試。在20世紀90年代和21世紀初的相當一段時間裏，人工神經網絡一直受到堅持AI的發展需要正式理論論證的科學家們的懷疑。在這十年中，互聯網上圖像數據和雲計算資源的爆炸式增長，使得雄心勃勃的深度網絡模型能夠贏得預測比賽，相對於基於核（kernel）的更“形式上可分析”的方法，取得了相當大的成功。
事實上，隨着時間的推移，深度網絡相對於“理論上可理解”的方法的性能優勢越來越明顯。最初的成功包括將貓和狗的圖片分離開來，但很快成功的就是全面的計算機視覺問題，比如人臉識別和運動圖像中的行人跟蹤。
在圖像處理取得初步成功的幾年後，深層網絡開始滲透到自然語言處理中，最終在最大的工業研究團隊手中產生了能夠將105種語言中的任何一種翻譯成任何其他語言的系統，甚至是之前幾乎沒有翻譯例子的語言對。
今天，聽到深層網絡使用數百億個例子的數據庫訓練數百億個參數已不再令人震驚。另一方面，它可能已經越來越令科學家感到不安，人們害怕目睹人類的在更多領域表現變得遠遠不足基於訓練形成的智能體，儘管目前這些系統最容易的理解特性僅僅是他們在遊戲中佔優勢的能力和能夠在 ImageNet 這樣的預測戰勝人類。
2019年3月，美國國家科學院在華盛頓召開了一次關於“深度學習的科學”的座談會。組織者的目標是促進對當今以經驗爲基礎的深度學習系統的科學理解，同時推動將此類系統用於傳統科學研究。
爲此，來自學術界和產業界的重要人物進行了演講; 聽衆包括來自全國各地機構的許多研究生和博士後，以及來自美國國家科學基金會(NSF)、國家衛生研究院(NIH)和國防部(DoD)的研究贊助商，還有來自華盛頓特區實驗室的美國政府科學家。
來自希伯來大學的 Amnon Shashua 討論了使自動駕駛汽車成爲可能的計算機視覺研究策略。他告訴聽衆，移動車輛視覺系統的錯誤率需要保持在每萬億個視覺體驗單位一個錯誤檢測的水平以下，並討論了建模和測試策略，這些策略有朝一日可以產生具有如此低錯誤率的驗證系統。
麻省理工學院(MIT)的羅德尼 · 布魯克斯(Rodney Brooks)解釋了，在他看來，機器學習系統是如何在數百年後才能完全展現出一般智能的。作爲支持，他指出當今成功的深度學習系統對大量優質數據的巨大需求，並將其與人類從極少數據中理解和概括的能力進行了對比。
在座談會召開前的幾周，白宮發佈了一份名爲《美國人民的人工智能》(Artificial Intelligence for the American People)的國家戰略文件，呼籲美國對人工智能(AI)進行新的投資。
https://www.whitehouse.gov/briefings-statements/artificial-intelligence-american-people/
由於座談會是在學院位於華盛頓廣場的辦公樓裏舉行的，所以這次座談會一夜之間成爲了討論這項新舉措的絕佳場所。資助機構(NSF、 NIH 和 DoD)的代表，包括一些深入參與制定該戰略的人，描述了他們最近和即將進行的研究項目，並告訴聽衆深度學習研究如何適合即將進行的國家研究計劃。
作爲座談會系列的一部分，這次活動伴隨着一期 PNAS 的特刊，你們現在正在閱讀的這期刊物，是由一些發言人和參加座談會的人撰寫的。特刊收集了許多有趣的論文，反映了在這個迅速發展的新領域正在進行的科學工作的活力和深度。
本期特刊以兩篇概述性論文開篇。索爾克研究所的Terrence J. Sejnowski 討論了“人工智能中深度學習的不合理的有效性”(2)。Sejnowski 的論文標題起源於 Eugene Wigner 的著名文章《數學在物理科學中的不合理的有效性》 ，並在這十年中延續了 Alon Halevy，Peter Norvig 和 Google 的費爾南多·佩雷拉的《數據的不合理的有效性》。
https://doi.org/10.1073/pnas.1907373117
在這種傳統中，作者通常會指出一種技術(例如，數學、大數據、深度學習)在某些領域獲得了毋庸置疑的成功，但我們並不完全理解，而且從更高層次的角度來看，這種技術似乎令人驚訝。Sejnowski研究了這樣一個悖論: 對於一系列重要的機器學習問題，深度學習比傳統的統計學習理論預測的效果要好得多。Sejnowski 認爲，儘管今天的深度學習系統是受到大腦皮層的啓發，但要達到人工一般智能，還需要從其它重要的大腦區域獲得啓發，比如那些負責計劃和生存的區域。
麻省理工學院的 Tomaso Poggio，Andrzej Banburski 和 Liao 則很好地繼承了“深層網絡的理論問題”(5) ，它考慮了關於逼近能力、複雜性控制和深層神經網絡泛化性質的理論成果。
https://doi.org/10.1073/pnas.1907369117
根據經驗，深度神經網絡在這三個方面表現非常不同於其他機器學習模型。爲了逼近，作者給出了形式化的論證，證明了某些卷積網在逼近某些光滑函數時可以避免“維數災難”。對於複雜性控制和正則化問題，作者將指數損失下適當正則化網絡的梯度流看作動力系統。作者指出無約束的梯度下降法網絡的隱式正則化特性，可能解釋了在超參數化的深海網絡中觀察到的複雜性控制。
“深度學習一直讓我們感到驚訝”的觀點是由斯坦福大學的Christopher D. Manning, Kevin Clark, John Hewitt, Urvashi Khandelwal, and Omer Levy 進一步發展起來的。
https://doi.org/10.1073/pnas.1907367117
他們考慮通過自我監督訓練的深層神經網絡，這種神經網絡在給定的上下文中沒有標記的訓練數據就能預測出一個帶有掩碼的單詞。作者對語言學的主流觀點提出質疑，認爲統計機器學習預測語言模型並沒有發展出有趣的突現的語言結構知識。在自我監督訓練過程中，深層神經網絡中出現了句法、形態和語義語言結構，這些語言結構具有驚人的經驗證明。這些豐富的信息是通過自我監督而產生的，這對人類語言習得有着誘人的影響。
紐約大學的Kyle Cranmer與合著者Johann Brehmer 和 Gilles Louppe,在他們的文章“基於模擬推理的前沿”(7)中討論了另一個領域的進展。本文描述了粒子物理學中的重要科學推理問題，這些問題一直被認爲是難以解決的。
https://doi.org/10.1073/pnas.1907367117
針對今天的“機器學習革命” ，作者通過融合大量的科學模擬、諸如主動學習和概率建模等機器學習思想，確定瞭解決這類推理問題的新可能性。實際上，機器學習可以幫助我們從科學模擬的測量方面進行訓練，給我們提供經驗模型來代替經典的分析概率模型。文中指出了一系列的科學推理問題，並總結道: “ ... ... 科學的幾個領域應該期待... ... 推理質量的顯著提高... ... 這種轉變可能對科學產生深遠的影響”(7)。
該特刊也提供了關於具體研究問題的引人入勝的文章。加州大學伯克利分校的 Peter l. Bartlett，Philip m. Long，Gábor Lugosi和 Alexander Tsigler 討論了“線性迴歸的良性過擬合”(8)。許多最近的深度學習模型包含了更多的需要確定的參數，而不是由數據點來適應它們。我們認爲這樣的模式過於合適。
傳統上，這會被認爲有害於基於經驗主義的科學實踐。正如作者所說: “良性過擬合現象是深度學習方法揭示的關鍵祕密之一: 深度神經網絡似乎能很好地預測，即使它完全適合嘈雜的訓練數據”(8)。作者在簡化的線性迴歸中對這種情況進行了深入的正式分析。
https://doi.org/10.1073/pnas.1907378117
麻省理工學院(MIT)的Antonio Torralba，David Bau，(Jun-Yan Zhu，Hendrik Strobelt，Agata Lapedriza和Bolei Zhou探討了一個重要問題: 深層神經網絡包含數十億個人工神經元，但它們在做什麼？他們的文章《理解深層神經網絡中單個單元的角色》(9)是這樣開始的: “深層神經網絡的單個隱藏單元能夠教會我們網絡如何解決複雜的任務嗎? ”？
https://doi.org/10.1073/pnas.1907375117
有趣的是，在最先進的深度網絡中，已經觀察到許多單元匹配人類可解釋的概念，而這些概念並沒有被明確地傳授給網絡: 已經發現單元可以檢測物體、部件、紋理、時態、性別、語境和情感作者描述了進行這種鑑定的定量工具。在構建第二個“解釋網絡”時，他們開發了一個“解剖”框架，識別驅動網絡神經元響應的概念。該技術應用於圖像分類和圖像生成網絡，爲對抗性攻擊和圖像語義編輯提供了新的視角。
來自麥吉爾大學和 DeepMind 的 Doina prerup ， André Barreto，Shaobo Hou，Diana Borsa，和 David Silver 討論了機器學習的多樣性---- 賦予我們 AlphaGo 世界一流的遊戲系統的強化學習。強化學習是出了名的數據飢渴者。Prerup 和他的同事們提出了一個解決辦法。
https://doi.org/10.1073/pnas.1907370117
他們的文章《快速強化學習與廣義的政策更新》(10)開頭寫道: “強化學習與深度學習的結合是一種很有前途的方法，可以解決目前棘手且重要的連續決策問題。”爲了克服這種強化學習與深度學習相結合的障礙，作者(10)提出了“ 強化學習的兩個基本操作可以概括爲: 政策改進和政策評估。這些操作的通用版本允許人們利用某些任務的解決方案來加快其他任務的解決方案。”Barreto 等人(10)發現“這兩種策略都大大減少了解決強化學習問題所需的數據量。”
這期特刊以兩篇文章結束，這兩篇文章討論了機器學習對日常生活的影響。劍橋大學的Anders C. Hansen 和合著者Vegard Antun, Francesco Renna, Clarice Poon及 Ben Adcock 確認了一個迫在眉睫的技術威脅。
他們的文章“關於圖像重建中深度學習的不穩定性和人工智能的潛在代價”(11)引起人們對計算機視覺中深度神經網絡不穩定的重要現象的關注。文獻中廣泛討論了圖像分類的不穩定性，以及在任務關鍵系統中使用深度學習視覺系統可能引起的安全和安保問題。
在基於深度學習的圖像重建中，作者提出了一種類似的不穩定現象，即利用深度神經網絡來解決圖像生成問題。他們擔心應用中的潛在安全問題，如醫學成像。該文提出了一種穩定性測試來診斷穩定性問題，並描述了用於檢測這類系統的測試的軟件實現。
https://doi.org/10.1073/pnas.1907377117
康奈爾大學的 Jon Kleinberg 和他的合著者 Jens Ludwig，Sendhil Mullainathan和 Cass r. Sunstein (12)通過解決一個根本性的問題來結束這個專輯: 在日常生活中使用機器學習可能產生的副作用:
算法是否依靠數據編碼人類判斷，使歧視和偏見系統化？他們總結他們的論點如下: “ ... 現有的法律、監管和相關的歧視檢測系統最初是爲人類決策者的世界而建立的，沒有考慮算法的影響。如果不改變這些系統，算法的引入將無助於發現歧視的任務，並可能使整個問題變得更糟。”
https://doi.org/10.1073/pnas.1912790117
兩位作者以樂觀的語氣結束了文章: “算法就其本質而言，需要比人類決策通常所涉及的更大程度的特異性，而人類決策在某種意義上是終極的‘黑盒子’。”在正確的法律和監管體系到位的情況下，算法可以充當類似於蓋革計數器的東西，使其更容易被檢測，從而防止歧視”(12)。
這些文章揭示了許多驚奇、悖論和挑戰。他們提醒我們，在這一迅速發展的領域中，出現了許多學術研究機會。僅舉幾例:
深度學習可能在科學領域得到更廣泛的應用，從而加速現有領域的進步;
理論家可能會更好地理解這十年深度學習革命帶來的難題和悖論;
科學家可能會更好地理解機器學習領域由工業驅動的創新如何影響社會層面的系統。
這樣的機會將是具有挑戰性的追求，尤其是因爲它們需要新的資源和人才。我們希望這個特別的問題能夠激勵新的科學努力去尋找這樣的機會，也許能夠在未來的美國國家科學院院刊的版面中引起關於深度學習的進一步討論。
本文翻譯自：
https://www.pnas.org/content/117/48/30029
原文標題：The science of deep learning
未來智能實驗室的主要工作包括：建立AI智能系統智商評測體系，開展世界人工智能智商評測；開展互聯網（城市）雲腦研究計劃，構建互聯網（城市）雲腦技術和企業圖譜，爲提升企業，行業與城市的智能水平服務。
如果您對實驗室的研究感興趣，歡迎加入未來智能實驗室線上平臺。掃描以下二維碼或點擊本文左下角“閱讀原文”
