在2020年國際學習表徵會議（ICLR）接受的兩篇論文中，MIT的研究者提出了激勵軟件代理（agent）以探索其所處環境，以及修剪算法來提升AI應用程序性能的新方法。總的來說，這兩種新方案可以促進工業、商業和家用自主機器人的發展；相比現有的競品，這些方案不需要那麼多的計算能力，但同時功能卻更強大。
“好奇心”算法
一支團隊提出了一種元學習算法，其可以生成52,000個探索算法，這些算法可以讓代理更深入地探索自己的周圍環境。他們探索了其中兩種全新算法，並藉此改善了一系列模擬任務的學習過程——這些任務包括讓月球車登陸，以及用機械手臂抓起螞蟻大小的機器人等。
這支團隊的元學習系統首先選擇一系列高級操作（基本編程，機器學習模型等等）來引導代理執行各種任務，包括記憶以前的輸入、比較和對比當前和之前的輸入、利用學習方法更改自己的模塊等等。元學習系統從共計三十多種操作中，一次最多組合七種不同操作，從而生成了描述之前提到的52,000種算法的計算圖。
測試所有的算法將花費數十年時間，所以研究者們首先將從代碼結構就可以預測出其糟糕性能的算法排除在外。之後他們在一項基本的網格級導航任務中測試了最有希望的候選算法，該任務需要大量的探索，但計算量很小。表現良好的算法被列爲新的基準，隨後淘汰了一大堆候選算法。
研究團隊表示他們使用了四臺機器，搜索運行十多小時之後找到了最佳算法。總數超過一百的高性能算法中，前16種有用且新穎，性能可以與人工設計的算法相媲美，甚至還會更好。
研究者將前16個模型的優秀性能歸因於它們都具備的兩個探索特性。首先，代理會因爲訪問一個新地方而獲得獎勵，因爲這樣它們就更可能採取新的行動。其次，一個AI模型學習預測代理未來的狀態，另一個模型則會回顧過去的狀態，二者相輔相成以預測現在狀態。這樣的話，如果預測錯誤，則二者都會因發現新東西而受到獎勵。
因爲元學習進程會生成高級計算機代碼作爲輸出，因此可以將這兩種算法分解後查看其決策過程。MIT研究生馬丁·施耐德（Martin Schneider）在一份聲明中稱“人類可以閱讀並解釋我們生成的算法，但如果想要真正的理解代碼，就需要對每一個變量和操作進行推演，並觀察它們如何隨着時間演變。”他與另一名研究生Ferran Alet，MIT計算機科學與電氣工程教授Leslie Kaelbling及Tomás Lozano-Pérez共同撰寫了這份研究論文。
“一方面我們藉助計算機的能力來評估大量算法，另一方面我們利用了人類解釋並改進這些算法的能力，將這二者結合起來設計算法和工作流程是一項很有趣的開放性挑戰。”
縮小AI模型
在第二份研究中，一支MIT團隊提供了一種可靠的，可以在資源受限的設備上運行的模型縮小框架。儘管團隊還不能解釋爲何該框架表現如此出色，但不可否認的是，該壓縮方法甚至比一些頂尖的壓縮方法實現起來更容易且更快。
該框架是“彩票假設（Lottery Ticket Hypothesis）”的產物。論文顯示如果在訓練過程中能夠確定正確的子模型（submodel），那麼即使減少了90%的參數，模型依舊錶現良好。研究的合著者，同時也是“彩票假設”的提出者，建議將模型重新“帶回”到早期訓練階段，不帶任何參數（例：根據已有數據估算模型內部配置變量），然後再重新訓練模型。模型修剪方法通常會導致模型精度隨着時間變化逐漸降低，但是這種方式卻可以將模型精度還原到最初始的狀態。
這爲更廣闊的AI研究領域帶來了好消息，爲解決該領域的可訪問性和可持續性問題帶來了希望。去年六月（2019年6月），馬賽諸塞州大學阿默斯特分校的研究者發佈了一項研究，估算出訓練並搜索某模型需要花費的電量，這些電量伴隨着約626,000磅的二氧化碳排放，相當於美國普通汽車服役週期排放量的近五倍。根據最近的一份Synced報告，華盛頓大學用於生成/檢測假新聞的Grover機器學習模型在兩週的訓練中花費了25,000美元。
MIT助理教授韓鬆表示“很高興看到新的修剪算法和重新訓練技術的不斷髮展”。韓鬆建立了行業標準修剪算法AMC，但並未參與到前文提到的這項研究之中。他最近與他人合著了一篇關於如何提升大型模型的AI訓練效率的論文，論文中提到的模型包含許多可以針對各種平臺定製預訓練的子模型。 “（該模型）可以讓更多的人得以利用高性能AI應用程序。”
MIT博士學生Alexa Renda與MIT助理教授/博士學生Jonathan Frankle合著了該項研究。二人都是MIT計算機科學與人工科學實驗室（CSAIL）成員。
延伸閱讀：