19個神經元控制自動駕駛汽車,MIT等蟲腦啓發新研究登Nature子刊

  編輯:魔王、澤南

  

這種新型智能系統模仿線蟲的神經系統來高效處理信息,比目前具有數百萬參數的神經網絡架構更加穩健、更易解釋且訓練速度更快。目前,該研究刊登在《自然-機器智能》子刊。

  

  將生物啓發神經網絡用於自動駕駛汽車。

  深度神經網絡和其他方法

  衆所周知,當數據量足夠多時,深度監督模型會被訓練得很好,但目前的深度學習仍存在泛化性能不好和訓練效率不高的問題,研究人員一直在尋求構建智能模型的新方法。當前人們探求的方向總是更深的網絡,但這意味着更高的算力消耗。因此正如人們所思考的那樣,必須尋找一種需要更少數據或更少神經網絡層的方法,讓機器實現智能化。

  自動駕駛汽車是當前機器學習研究者和工程師們正在探索的最複雜任務之一。它覆蓋很多方面,而且要求必須高度穩定,只有這樣我們才能保證自動駕駛汽車在道路上安全運行。通常,自動駕駛算法的訓練需要大量真實人類駕車的訓練數據,我們試圖讓深度神經網絡理解這些數據,並復現人類遇到這些情況時的反應。

  

  自動駕駛算法的端到端表示。

  腦啓發的智能系統

  最近,來自奧地利科技學院(IST Austria)、維也納工業大學(TU Wien)和麻省理工學院(MIT)的研究者成功訓練了一種全新的人工智能系統來控制自動駕駛汽車。

  該方法受線蟲等小型動物大腦的啓發,僅用數十個神經元即可控制自動駕駛汽車,而常規深度神經網絡方法(如 Inception、ResNet、VGG 等)則需要數百萬神經元。這一新型網絡僅使用 75000 個參數、19 個神經元,比之前減少了數萬倍!

  該方法還帶來了額外的好處,由於神經元數量稀少,這樣的網絡不再是深度模型的「黑箱」,人們可以知道網絡在每個運行階段的情況。該研究項目負責人 Radu Grosu 教授表示:「正如線蟲(nematode C. elegans)這種生命,它們以驚人的少量神經元實現有趣的行爲模式。」

  

  線蟲的神經系統(圖源:https://www.i-programmer.info/news/105-artificial-intelligence/12243-nematode-worm-parks-a-car.html)

  這是因爲線蟲的神經系統能夠以高效、協調的方式處理信息。該系統證明深度學習模型仍有改進空間。如果線蟲在進化到接近最優的神經系統結構後,能夠憑藉極少量神經元做出有趣的行爲反應,那我們也可以讓機器做到。該神經系統可以讓線蟲執行移動、動作控制和導航行爲,而這恰恰是自動駕駛等應用所需要的。

  該研究參與者之一 Thomas Henzinger 教授表示,他們按照這一神經系統,「開發了一種新型數學神經元和突觸模型」——liquid time constant(LTC)神經元。簡化神經網絡的一種方式是使之變得稀疏,即並非每一個單元都與其他單元相連接。當一個單元被激活時,其他單元未被激活,這可以降低計算時間,因爲所有未被激活單元沒有任何輸出(或者輸出爲 0,可以極大地加快計算速度)。

  研究人員還改變了每個單元的運行方式。Ramin Hasani 博士表示:「單個單元內的信號處理過程與之前深度學習模型的數學原則有所不同。」

  新型智能系統 NCP

  這一新系統包括兩部分。

  首先是一個緊湊的卷積神經網絡,用於從輸入圖像像素中提取結構特徵。使用這類信息,網絡能夠確定圖像的哪些部分較爲重要或有趣,並僅將這部分圖像傳輸至下一個步驟。

  

  該研究提出新架構的端到端表示。

  第二個部分即「控制系統」,它利用一組生物啓發神經元做出的決策來控制汽車。這一控制系統又叫做「神經電路策略」(neural circuit polic,NCP)。

  它將緊湊卷積模型的輸出數據轉換到僅有 19 個神經元的 RNN 架構中(該架構受線蟲神經系統的啓發),進而控制汽車。

  NCP 網絡的實現細節參見相關論文及 GitHub 項目。

  這帶來了參數量的銳減。論文一作 Mathias Lechner 表示「NCP 比之前的 SOTA 模型小了三個數量級」,參見下表 2。

  

  網絡規模對比。

  由於該架構規模很小,因此我們可以看清楚其注意力在輸入圖像的哪一部分。研究者發現,用這麼小的網絡提取圖像最重要部分時,這些神經元只關注路邊和視野。在目前着重於分析圖像每一個細節的人工智能系統中,這是很獨特的行爲。

  

  全局網絡動態。

  與其他網絡相比,傳輸至 NCP 網絡的信息可謂少之又少。僅通過上圖,我們就可以發現該方法比現有方法更加高效,計算速度也更快。

  此外,噪聲對於現有方法而言是一個大問題,如下雨、下雪,但 NCP 系統對輸入噪聲展示出強大的抵抗力,這是由於其架構和新型神經模型,使其即使在輸入攝像頭有噪聲的時候,注意力也能聚焦在路程視野上(參見以下視頻)。

  

  NCP 系統在噪聲環境中的穩健性。

  結論

  這一新方法因其規模小而呈現出更穩健、更快速的特徵,又因其能夠清晰地可視化神經網絡內部活動而具備更高的可解釋性。該方法將人工智能和生物神經系統結合起來,帶來了新的研究角度。

  https://medium.com/towards-artificial-intelligence/a-new-brain-inspired-intelligent-system-drives-a-car-using-only-19-control-neurons-1ed127107db9

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章