博客:
blog.shinelee.me |
博客园 |
CSDN
交叉熵损失与均方误差损失
常规分类网络最后的softmax层如下图所示,传统机器学习方法以此类比,
一共有K类,令网络的输出为[y^1,…,y^K],对应每个类别的概率,令label为 [y1,…,yK]。对某个属于p类的样本,其label中yp=1,y1,…,yp−1,yp+1,…,yK均为0。
对这个样本,交叉熵(cross entropy)损失为
L=−(y1logy^1+⋯+yKlogy^K)=−yplogy^p=−logy^p
**均方误差损失(mean squared error,MSE)**为
L=(y1−y^1)2+⋯+(yK−y^K)2=(1−y^p)2+(y^12+⋯+y^p−12+y^p+12+⋯+y^K2)
则m个样本的损失为
ℓ=m1i=1∑mLi
对比交叉熵损失与均方误差损失,只看单个样本的损失即可,下面从两个角度进行分析。
损失函数角度
损失函数是网络学习的指挥棒,它引导着网络学习的方向——能让损失函数变小的参数就是好参数。
所以,损失函数的选择和设计要能表达你希望模型具有的性质与倾向。
对比交叉熵和均方误差损失,可以发现,两者均在y^=y=1时取得最小值0,但在实践中y^p只会趋近于1而不是恰好等于1,在y^p<1的情况下,
- 交叉熵只与label类别有关,y^p越趋近于1越好
- 均方误差不仅与y^p有关,还与其他项有关,它希望y^1,…,y^p−1,y^p+1,…,y^K越平均越好,即在K−11−y^p时取得最小值
分类问题中,对于类别之间的相关性,我们缺乏先验。
虽然我们知道,与“狗”相比,“猫”和“老虎”之间的相似度更高,但是这种关系在样本标记之初是难以量化的,所以label都是one hot。
在这个前提下,均方误差损失可能会给出错误的指示,比如猫、老虎、狗的3分类问题,label为[1,0,0],在均方误差看来,预测为[0.8,0.1,0.1]要比[0.8,0.15,0.05]要好,即认为平均总比有倾向性要好,但这有悖我们的常识。
而对交叉熵损失,既然类别间复杂的相似度矩阵是难以量化的,索性只能关注样本所属的类别,只要y^p越接近于1就好,这显示是更合理的。
softmax反向传播角度
softmax的作用是将(−∞,+∞)的几个实数映射到(0,1)之间且之和为1,以获得某种概率解释。
令softmax函数的输入为z,输出为y^,对结点p有,
y^p=∑k=1Kezkezp
y^p不仅与zp有关,还与{zk∣k=p}有关,这里仅看$z_p $,则有
∂zp∂y^p=y^p(1−y^p)
y^p为正确分类的概率,为0时表示分类完全错误,越接近于1表示越正确。根据链式法则,按理来讲,对与zp相连的权重,损失函数的偏导会含有y^p(1−y^p)这一因子项,y^p=0时分类错误,但偏导为0,权重不会更新,这显然不对——分类越错误越需要对权重进行更新。
对交叉熵损失,
∂y^p∂L=−y^p1
则有
∂z^p∂L=∂y^p∂L⋅∂zp∂y^p=y^p−1
恰好将y^p(1−y^p)中的y^p消掉,避免了上述情形的发生,且y^p越接近于1,偏导越接近于0,即分类越正确越不需要更新权重,这与我们的期望相符。
而对均方误差损失,
∂y^p∂L=−2(1−y^p)=2(y^p−1)
则有,
∂z^p∂L=∂y^p∂L⋅∂zp∂y^p=−2y^p(1−y^p)2
显然,仍会发生上面所说的情况——y^p=0,分类错误,但不更新权重。
综上,对分类问题而言,无论从损失函数角度还是softmax反向传播角度,交叉熵都比均方误差要好。
参考