- 随着cnn的发展，尤其是VGG网络提出以后，大家发现网络层数是网络的一个关键因素，似乎越深的网络效 果越好。
- 但是随着网络层数的增加，也出现了梯度消失或者发散。从而导致训练难以收敛。
- 随着normalized initialization && intermediate normalization layers的提出解决了这个问题。
- 但是于此同时，随着网络深度的增加，系统精度得到饱和之后，迅速的下滑。让人意外的是这个性能下降不是过拟合导致的
ResNet
我们提出一个 deep residual learning 框架来解决这种因为深度增加而导致性能下降问题
假设我们期望的网络层关系映射为 H(x), 我们让 the stacked nonlinear layers 拟合另一个映射， F(x):= H(x)-x , 那么原先的映射就是 F(x)+x。 这里我们假设优化残差映射F(x) 比优化原来的映射 H(x)容易。
残差网络单元其中可以分解成右图的形式，从图中可以看出，残差网络其实是由多种路径组合的一个网络，直白了说，残差网络其实是很多并行子网络的组合，整个残差网络其实相当于一个多人投票系统（Ensembling）。
从这可以看出其实ResNet是由大多数中度网络和一小部分浅度网络和深度网络组成的，说明虽然表面上ResNet网络很深，但是其实起实际作用的网络层数并没有很深。
所示ResNet真的解决了深度网络的梯度消失的问题了吗？似乎没有，ResNet其实就是一个多人投票系统。
DenseNet
DenseNet和ResNet最大的区别在于：
不在通过求和来组合，而是将他们全部作为单独的输入提供到下一层的输入。
密集连接这个词给人的第一感觉就是极大的增加了网络的参数量和计算量。但实际上 DenseNet 比其他网络效率更高，其关键：网络每层计算量的减少以及特征的重复利用
特点：
- 网络更窄，参数更少
- 每一层的输入来自前面所有层的输出
- 恐怖如斯的内存占用