[AAAI2020] Neighborhood Cognition Consistent Multi-Agent Reinforcement Learning 筆記

前言

社會心理學和真實經驗展示了,認知一致性在保持人類社會有序方面扮演了重要角色。如果人們對於他們的環境具有更一致的認知,他們更可能實現更好的合作。同時,只有一個鄰居範圍內的認知一致性才重要,因爲人們只直接與鄰居交互。這篇文章將neighborhood cognitive consistency(NCC)引入MARL,提出一個整體的設計。
社會心理學中,認知一致性理論展示人們通常試圖以一種簡單一致的方式理解環境。不一致會不舒服,並趨於一致。維護鄰居認知一致性通常足夠保證系統級(system-level)協作。
作者通過三步實現鄰居認知一致性,第一,將多智能體環境建模爲圖,使用圖卷積網絡從鄰居agents的聯合觀察中提取高層表徵;第二,然後將這個高層表徵分解爲一個agent-specific認知表徵和一個neighborhood-specific認知表徵;第三,假設每個neighborhood有一個真隱藏認知變量,然後所有的鄰居agent學習通過這個真隱藏認知變量進行變分推斷(variational inference)來對齊他們的neighborhood-specific認知表徵,最後所有的鄰居agent將最終形成一致的鄰居認知。

方法

定義認知爲agent對局部環境的理解

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章