[PED10]Invariance and Stability of Deep Convolutional Representations

Alberto Bietti, Julien Mairal

1.論文通過構造一個多層的深度卷積核網絡，並且研究對應的再生核希爾伯特空間的幾何結構，來研究深度信號表示的平移不變性以及微分同胚作用的穩定性，既不會丟失信號的信息。

2.首先定義了連續域空間中的信號的操作，patch extraction、kernel map、linear pooling。然後進行離散化，並且說明了了離散信號通過這些操作可以進行信號的保存和恢復。關於核近似，這裏通過有限維的近似形成卷積核網絡的模型，並且RKHS（再生核希爾伯特空間）的映射是通過對有限維的子空間的映射來近似獲得的。這個近似是兼容的，也就是說近似的映射也在相應的RKHS中，並且由於這個映射的非擴展性，使得穩定性也得到了保存。

3.接下來文章對變形和平移不變性和穩定性進行了說明，利用微分同胚的知識，用下面這個公式來進行穩定的描述（表示）：

 

然後對右邊進行bound

          

最後得到上述結論，與（4）式的所需的格式相匹配，和散射變換不同的是，由於pooling層的原因，隨着深度的增加而減小。但是這種情況可以通過增加一個非線性的預測層進行緩解。 

對核近似的穩定性進行說明，在RKHS層的有窮維子空間上增加映射的步驟，並重新定義了核映射操作符，這樣也不保持範數不變了，丟失的信息對應點z(u)上的核近似的質量。由於增加的映射的非擴張性，也具有非擴張性。

4.討論變換羣的全局不變性。

前面討論的是用於保證局部變換穩定性的背部pooling層，而全局不變性主要是通過最後一個pooling層實現的。

5.核表示與CNN之間的聯繫。

RKHS範數較小的函數(即“大邊界”)可以更好地泛化未知數據，也就是說少量的樣本就能獲得很好的泛化性能。