Dilated Convolution概述

Dilated Convolution是在標準卷積的Convolution map的基礎上注入空洞，以此來增加感受野（reception field）。因此，Dilated Convolution在Standard Convolution的基礎上又多了一個超參數（hyper-parameter）稱之爲膨脹率（dilation rate），該超參數指的是kerne的間隔數量。

下面兩張動圖解釋了膨脹卷積（Dilated Convolution）和標準卷積（Standard Convolution）之間的區別：

Standard Convolution with a 3*3 kernel (and padding)

Dilated Convolution with a 3*3 kernel and dilation rate 2

之所以提出了Dilated Convolution，是因爲Deep CNN存在一些主要的問題：

上採樣和池化層存在一些知名的問題（Hinton在演講中提出）
內部數據結構丟失，空間層級化信息丟失
小物體無法重建

Dilated Convolution存在的問題

Dilated Convolution的優點在於可以保留內部數據結構以及可以避免使用下采樣這樣的特性。但是完全基於Dilated Convilution設計模型也會存在一些問題：

Dilated Convolution的kernel並不連續，也就是並不是所有的像素都用來計算了，因此這裏將信息看作checker-board的方式將會損失信息的連續性。(即柵格效應，膨脹卷積不能覆蓋所有的圖像特徵，如下圖所示）
The Gridding Effect
Dilated Convolution的設計更像是用於獲取long-range information，這樣或許對一些大物體有較好的分隔效果，而對於小物體來說可能是有弊無利了。如何同時處理好大小物體的關係，則是設計好dilated convolution網絡的關鍵。

HDC (Hybrid Dilated Vonvolution)

混合膨脹卷積是針對膨脹卷積存在的問題所提出的，對比膨脹卷積，主要包含以下三方面的特徵：

疊加的膨脹卷積的膨脹率dilated rate不能有大於1的公約數（比如[2, 4, 6]），不然會產生柵格效應
膨脹率dilated rate設計成了鋸齒狀結構，例如[1, 2, 5, 1, 2, 5]這樣的循環結構
膨脹率dilated rate需要滿足： $M_i = \max\left [ M_{i+1} -2r_i, M_{i+1}-2(M_{i+1}-r_i), r_i\right ]$ . 其中是第i層的膨脹率dilated rate，是指在i層的最大dilation rate，假設總共有n層，那麼.一個簡單的例子是：