來源: 新智元
本文約1700字，建議閱讀5分鐘
根據研究人員的最新發現，神經網絡對數據的要求，居然比神經符號模型還要低！
[ 導讀 ]DeepMind最新的研究結果再一次打破了傳統認知——根據研究人員的最新發現，神經網絡對數據的要求，居然比神經符號模型還要低！不僅如此，實驗結果證實，神經網絡的在關鍵任務上的效果還要更好。不需要預先訓練，完全無監督，居然這麼神奇？
按照之前的常識，結合了算法和符號推理技術的神經符號模型（Neurosymbolic Models），會比神經網絡更適合於預測和解釋任務，此外，神經符號模型在反事實方面表現更好。
而Neural-Symbolic，本質上其實是將現代數學中的分析學和代數學結合的產物。
分析學擅長處理數值、函數、逼近等問題, 代數學擅長處理推演、抽象、結構等問題，如果能適當將兩者結合，會有很可觀的效果。
然而，近日，DeepMind的研究人員聲稱，在正確的測試條件下，神經網絡的性能會優於神經符號模型。
與之前的研究結論相反，研究人員認爲，對於可以衡量高級認知功能並基於視覺的任務來說，基於分佈式表示的神經網絡模型確實表現良好，並已經明顯勝過了現有的神經符號模型。
在論文中，作者描述了一種關於視頻的時空推理的體系結構，此結構可以學習到視頻中的所有成分，並且所有中間的表示都貫穿分佈在整個神經網絡層中。
論文地址：
https://arxiv.org/pdf/2012.08508.pdf
該團隊表示，該體系結構在一個流行的數據集上的所有任務的表現，都超過了神經符號模型，並在反事實問題上優勢最明顯。
這一研究成果，可能會非常有助於設計和開發具有推斷作用的機器。
該文章提出的神經網絡架構，主要利用注意力機制，來實現對集成信息的高效提取。
有人可能要問了，什麼是注意力機制呢？
注意力（attention）其實是一個非常常見，但是又會被忽略的事實。比如天空一隻鳥飛過去的時候，往往你的注意力會追隨着鳥兒，天空在你的視覺系統中，自然成爲了一個背景（background）信息。
計算機視覺中的注意力機制（attention）的基本思想，就是想讓系統學會注意力——能夠忽略無關信息而關注重點信息。
總的來說，注意力機制就是一種一次只專注於一個元素或幾個元素的算法機制。
對於DeepMind這一研究來說，整個訓練過程都是自我監督的，這意味着該模型必須使用底層的動態機制，來推斷視頻中被掩蓋的對象，以便提取更多信息。
而且該架構可以確保視頻中的視覺元素與物理對象相對應，論文作者認爲，這一步驟對於更高層次的推理至關重要。
在實驗部分，研究人員將他們的神經網絡與視頻表示和推理的CoLlision事件（也就是CLEVRER數據集）進行了基準比較。
其中，CLEVRER數據集包含由機器生成的20,000多個5秒鐘的物體碰撞視頻（這幾種物體是三種形狀，擁有八種顏色的兩種材料），以及300,000多個問題和答案。
這些問答都聚焦於邏輯推理的四個要素：描述性（例如，“什麼顏色” ），說明性（“造成的原因”），預測性（“接下來會發生什麼”）和反事實（“如果某種情況出現，會發生什麼”）。
在這裏小編附上CLEVRER資源鏈接：
論文鏈接：
https://arxiv.org/abs/1910.01442
項目鏈接：
http://clevrer.csail.mit.edu/
實驗結果表明，在沒有預先訓練，沒有標記數據，且訓練數據少40％的情況下，他們的神經網絡和最佳神經符號模型性能相當，這無疑挑戰了神經網絡比神經符號模型更需要數據這一觀點。
此外，它在最困難的反事實問題上的得分爲59.8％（這一得分比機會模型和所有其他模型都好）。
同時，此模型還可以可以推廣到其他任務，包括CATER（旨在預測目標對象在視頻最後一幀中的位置的對象跟蹤視頻數據集）。
研究人員在論文中寫道：“我們的研究結果證明了在得益於分佈式表示的靈活性和表現力的同時，深層網絡可以複製人類認知和推理的許多特性。”
“神經模型在數學上也取得了一些成功，從直覺上講，該領域需要執行嚴格的規則，需要操縱各種各樣的複雜符號。但是，令人驚訝的是，大型神經語言模型其實並不需要需進行目標任務的明確訓練，也可獲得算術推理和類推的能力。
這表明，在擴展到更多數據，並使用更大，更高效的體系結構時，當前的神經網絡侷限性得到了改善。”
參考鏈接：
https://blog.csdn.net/hanss2/article/details/90345517
https://venturebeat.com/2020/12/21/deepmind-researchers-claim-neural-networks-can-outperform-neurosymbolic-models-on-visual-tasks/
編輯：文婧
