深度学习常见知识点总结

最大池化

池化层也称下采样层,会压缩输入的特征图,一方面减少了特征,导致了参数减少,进而简化了卷积网络计算时的复杂度;另一方面保持了特征的某种不变性(旋转、平移、伸缩等)。池化操作主要有两种,一种是平均池化(Average Pooling),即对邻域内的特征点求平均;另一种是最大池化(Max Pooling),即对邻域内的特征点取最大。

池化方法特征提取误差主要来自两个部分:一是,邻域大小受限造成了估计值方差增大;二是,卷积层参数误差造成了估计均值的偏移。一般来说,在图像研究领域,对图像进行平均池化操作能减少第一种误差,同时更多地保留图像的背景信息;而另一方面,最大池化能减小第二种误差,更多地保留纹理信息。因此在进行卷积神经网络结构设计时,这两种池化方式往往交替使用。

池化就是去除杂余信息,保留关键信息

跳跃连接(skip connect)

神经网络的层数加深时, 网络表现难以提高, 甚至会降低, 原因即熟悉的梯度消散, 使得反向传播很难训练到考前的层中. 残差网络(ResNet)通过skip connection技巧, 可以解决这个问题, 使得梯度更容易地流动到浅层的网络当中去.
在这里插入图片描述
至于能够起作用的原因, 可以参见这篇文章: 对ResNet的理解. 简单概括如下:
在这里插入图片描述
就是在深层次中考虑浅层的信息

各种卷积

这篇文章总结得很好:各种卷积层的理解(深度可分离卷积、分组卷积、扩张卷积、反卷积)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章