空洞卷積(Atrous Convolution)

優點:在不做pooling損失信息和相同的計算條件下的情況下,加大了感受野,讓每個卷積輸出都包含較大範圍的信息。空洞卷積經常用在實時圖像分割中。當網絡層需要較大的感受野,但計算資源有限而無法提高卷積核數量或大小時,可以考慮空洞卷積。

空洞卷積(dilated convolution)是針對圖像語義分割問題中下采樣會降低圖像分辨率、丟失信息而提出的一種卷積思路。利用添加空洞擴大感受野,讓原本3x3的卷積核,在相同參數量和計算量下擁有5x5(dilated rate =2)或者更大的感受野,從而無需下采樣。擴張卷積(dilated convolutions)又名空洞卷積(atrous convolutions),向卷積層引入了一個稱爲 “擴張率(dilation rate)”的新參數,該參數定義了卷積核處理數據時各值的間距。換句話說,相比原來的標準卷積,擴張卷積(dilated convolution) 多了一個hyper-parameter(超參數)稱之爲dilation rate(擴張率),指的是kernel各點之前的間隔數量,【正常的convolution 的 dilatation rate爲 1】。

圖說空洞卷積的概念

 

空洞卷積的動態過程

在二維圖像上直觀地感受一下擴張卷積的過程:

上圖是一個擴張率爲2的3×3卷積核,感受野與5×5的卷積核相同,而且僅需要9個參數。你可以把它想象成一個5×5的卷積核,每隔一行或一列刪除一行或一列。
在相同的計算條件下,空洞卷積提供了更大的感受野。空洞卷積經常用在實時圖像分割中。當網絡層需要較大的感受野,但計算資源有限而無法提高卷積核數量或大小時,可以考慮空洞卷積。

Dilated Convolution感受野指數級增長

對於標準卷積核情況,比如用3×3卷積核連續卷積2次,在第3層中得到1個Feature點,那麼第3層這個Feature點換算回第1層覆蓋了多少個Feature點呢?
第3層:

第2層:

第1層:

第一層的一個5×5大小的區域經過2次3×3的標準卷積之後,變成了一個點。也就是說從size上來講,2層3*3卷積轉換相當於1層5*5卷積。題外話,從以上圖的演化也可以看出,一個5×5的卷積核是可以由2次連續的3×3的卷積代替。
但對於dilated=2,3*3的擴張卷積核呢?
第3層的一個點:

第2層:

第一層:

可以看到第一層13×13的區域,經過2次3×3的擴張卷積之後,變成了一個點。即從size上來講,連續2層的3×3空洞卷積轉換相當於1層13×13卷積。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章