稍微整理一下这两篇轻量级的网络。内容比较少，也不写多
2019 T-NNLS：LPNet
这篇文章也是傅雪阳的一篇文章，主要提出了一种轻量级的金字塔网络。
工程：LPNet
简而言之，文章简化了网络结构，在神经网络中引入了高斯拉普拉斯金字塔分解技术，采用了递归和残差网络结构构建网络，大大减少了网络参数。
主要创新之处
1、CNN结合经典的高斯-拉普拉斯金字塔技术，提出了一个参数较少、深度较浅、结构简单的网络。
2、网络结合了多尺度技术、递归和残差学习，同时去除了BN。
网络结构
整体网络结构：
子网络：
递归模块：
首先将一个rainy图像分解成一个Laplacian金字塔，并为每一层金字塔构建一个子网络。然后，根据该层数据的具体物理特性，用各自的损失函数对每个子网络进行训练。网络输出一个去雨后图像的高斯金字塔。最后得到的结果是高斯金字塔的底层。
具体实现：
1、拉普拉斯金字塔
将含雨图像X分解成一组N个级别的图像L：
其中，Gn是高斯金字塔，Gn(X)由Gn-1(X)使用一个高斯核下采样得到，
且G1(X) = X , L N (X) = G N (X)
2、子网络
子网络首先从第n层输入提取特征，对应图中的第一个卷积层：
递归模块：
为了减少参数的数量，我们以递归的方式构建中间推理层，基本思想是在递归块之间共享参数。
经试验测试，递归模块采用了三个卷积层。
为帮助传播信息和反向传播梯度，第t个递归块的输出特征映射Hn,t 由Hn,0相加计算得到;
3、高斯金字塔重建：
拉普拉斯金字塔的输出：
对应的高斯金字塔的重建的去雨图像：
4、去除BN
BN约束特征映射服从高斯分布。
不需要BN来进一步约束特征映射，因为映射问题已经变得很容易处理了。
此外，删除BN层可以充分减少GPU内存的使用，因为BN层消耗的内存与前面的卷积层相同。
将BN层从我们的网络中移除，以提高灵活性，减少参数数和计算资源。
5、loss
分