一.在深度学习中,影响整个模型最后效果的我认为有3个因素:
1.数据的质量,多少.
2.网络的结构,网络的深度等.
3.损失函数的设计.
最常用也是最容易想到的损失函数就是L1损失和L2损失.这也是很多深度学习论文的损失函数的基础项目.
对于L1损失,L2损失,相信很多看过吴恩达机器学习课程的同学都会知道**“正则项”**的概念(L1-norm,L2-norm),在tensorflow中,也有专门的函数接口来帮助添加正则项,说白了,就是损失函数的惩罚项,给损失函数加一些约束,改变原本的最优解分布.
下面总结下正则项的作用,为什么会起作用.
- L1-norm,L2-norm的作用:
L1-norm:L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择,一定程度上也可以防止过拟合
L2-norm:L2正则化可以防止模型过拟合（overfitting）
这里,什么是稀疏模型,什么又是特征选择,不急,慢慢来一个一个理解,最后再说overfitting.
稀疏模型和特征选择:
上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？
稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0.通常机器学习
中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。在
预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个
模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即使去掉对模型也
没有什么影响），此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。
这里,大家可以再去查下PCA降维分解,PCA分解最后就是选取矩阵中部分重要的特征向量来表示特征.
L1-norm怎么实现的稀疏矩阵?:(为什么L1正则化可以产生稀疏模型?（L1是怎么让系数等于零的?）)
备注:上面三个问题是等价的
假设有如下带L1正则化的损失函数：
其中J0J0是原始的损失函数，加号后面的一项是L1正则化项，αα是正则化系数。注意到L1正则化是权值的绝对值之和，JJ是带有绝对值符号的函数，因此JJ是不完全可微的。
机器学习的任务就是要通过一些方法（比如梯度下降）求出损失函数的最小值。当我们在原始损失函数J0J0后添加L1正则化项时，相当于对J0J0做了一个约束。令L=α∑w∣w∣L=α∑w∣w∣，则J=J0+LJ=J0+L，此时我们的任务变成在LL约束下求出J0J0取最小值的解(这里就是改变了最优解的分布)
考虑二维的情况，即只有两个权值w1w1和w2w2，此时L=∣w1∣+∣w2∣L=∣w1∣+∣w2∣对于梯度下降法，求解J0J0的过程可以画出等值线，同时L1正则化的函数LL也可以在w1w2w1w2的二维平面上画出来。如下图：
图中等值线是J0J0的等值线，黑色方形是LL函数的图形。在图中，当J0J0等值线与LL图形首次相交的地方就是最优解。
可以发现,原来没有L1-norm时候,最优解在等值线的中心,现在在这个黑点这里,发生了变化,并且这个黑点的值(w1,w2)=(0,w),
可以直观想象，因为L函数有很多『突出的角』（二维情况下四个，多维情况下更多），J0等值线与这些角接触的机率会远大于与L其它部位接触的机率，而在这些角上，会有很多权值等于0，这就让矩阵很多的权重系数是0 ,产生了稀疏矩阵,进而有了上面的说的稀疏模型,然后就可以进行特征选择了.
α系数对正则项的影响:
正则化前面的系数α，可以控制L图形的大小。α越小，L的图形越大（上图中的黑色方框）；α越大，L的图形就越小，可以小到黑色方框只超出原点范围一点点，这是最优点的值(w1,w2)=(0,w)中的w可以取到很小的值。
这样说还是不好理解,换种说法吧:正则项整体大小不变时，α越小（惩罚越弱），相应的w就越大（w越不受限），图形就越大（越容易过拟合）。α越大，对原始模型中特征系数的惩罚作用（降低过拟合作用）越明显，黑色方框越小，此时才会使得最优解中的非零值越小，也就是起到了很好的惩罚作用；相反α越小，惩罚作用越不明显，黑色方框越大，最优解越大.在具体的深度学习中,α的选取是靠调试的,没有越大越好,也没有越小越好.
L2-norm是没有稀疏性的特征的:
L2正则化的损失函数：
二维平面下L2正则化的函数图形是个圆，与方形相比，被磨去了棱角。因此J0与L相交时使得w1或w2等于零的机率小了许多，这就是为什么L2正则化不具有稀疏性的原因。
L2正则化和过拟合
拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简
单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么
只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，
专业一点的说法是『抗扰动能力强』
至于为什么L2-norm可以获得值最小的参数?记住就行,公式推导可以参见最优化教材.
L2正则化参数选取
λ越大，θj衰减得越快。另一个理解可以参考图2，λ越大，L2圆的半径越小，最后求得代价函数最值时各参数也会变得很小。
L1正则化参数选取
通常越大的λλ可以让代价函数在参数为0时取到最小值。
虽然λ=0.5可以取最小值,但是λ=2的最优解在0附近,所以,实际中,还是选取λ=2为正则化参数.
博客参考:https://blog.csdn.net/jinping_shi/article/details/52433975,谢谢作者