讀Spatial As Deep: Spatial CNN for Traffic Scene Understanding(SCNN)和代碼

Spatial CNN,或者SCNN

給出兩篇翻譯:

1.https://www.cnblogs.com/guoyaohua/p/8940871.html?utm_source=tuicool&utm_medium=referral

2.https://blog.csdn.net/u011974639/article/details/79580798

原文pdf地址, pytorch實現

====================================================

Related Work重點

在神經網絡中運用空間信息的有:

1.RNN   (Visin et al. (2015) and Bell et al. (2016) )

2.運用神經網絡+概率圖模型如MRF or CRF,

=======================================================

SCNN整體架構:

來看一下他的核心部分, 也就是message_passing,在pytorch的代碼實現中,四個方向的message_passing上下左右都由同一個模塊實現,實現代碼如下,

上圖示意圖中曲線代表卷積,每次message passing都共用一組卷積,卷積具體結構如下,代碼中ms_ks設置爲9

爲什麼是(1,ms_ks)的卷積呢,猜測可以將feature 的x,y 座標上信息分別融合,如下下圖的y座標上的信息融合

 

論文中的公式:

論文中給的示意圖:spatial CNN的空間信息傳輸方式