ResNet
2014 年底接下出现 resNet 当时特别震惊，改变了大家对深度网络做的层数的限制，
<img src="images/../../images/kaiming.png">
在ResNet 做到了误差率 2.3 比人类的 5.1 还要低。从而 ImageNet 也退出历史舞台
<img src="../images/imagenet.jpg">
梯度消失
<img src="../images/resnet_001.png">
不是由过拟合而发生，是因为网络不畅通，因为网络太深造成前向信息传递过程衰减
梯度可以认为是模型信息量，梯度大小信息量，还差多少拟合数据，当卷积神经网 label 用于靠近输出层拟合，所以在接近输入的层梯度为 0 ，变宽不如变深效果，变宽平方增加，变深是线性增加，也就是简单函数来拟合(变深)
functin
resNet 是串联，输入可以跳过一些层快速来输出，梯度可以直接跳到前面，可以认为两个模型加载一起作为输出，也就是一个简单模型和一个复杂模型合起来做一件事，
加入 batchnormal
Residual 块(残差块)
- 提出了一种残差模块，通过堆叠残差模块可以避免信息丢失
- 解决反向传播的梯度消失问题
- 批归一化方法对抗梯度消失，从而降低网络训练过程对于权重初始化的依赖
<img src="../images/resnet_01.jpeg" width="60%">
- 前向传播
- 反向传播
<img src="../images/resnet_005.png">
在 VGG 中就是堆叠 3 x 3 的结构，运算效率，152 层，运行很慢，bottlenet 结构来减少运算量
介绍网络结构
<img src="../images/resnet_02.jpeg">
我们看 152 层
- 最大化池化 重叠池化
- bottleNet 结构
- averagepool
- 全连接
残差网络性能结构
<img src="../imagee/../images/resnet_006.png">
残差网络可以看成集成模型，输入直接通过这个分支。这个网络可以，信息冗余所以很好结果，集成网络，随便去掉神经网不会影响卷积神经网的工作，而在 VGG
而前几层学习一些特征，而后几层学习另一些特征，所以残差网络是可以自由组合，
DenseNet
<img src="../images/densenet.jpeg">
加法变为合并操作，concate 深度增长很快，在 googleNet 加入 1 x 1 更改，这个在 Densenet 叫过渡块，
- 维度降低（深度包括宽度和长度）