损失函数 - Cross Entropy Loss(交叉熵损失函数)

今天看到一篇写的不错的关于交叉熵损失的讲解，感觉算法的各个步骤讲的很详细清晰，遂在博客中记录一下。

交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。

我们用神经网络最后一层输出的情况，来看一眼整个模型预测、获得损失和学习的流程：

1. 神经网络最后一层得到每个类别的得分scores；
2. 该得分经过sigmoid(或softmax)函数获得概率输出；
3. 模型预测的类别概率输出与真实类别的one hot形式进行交叉熵损失函数的计算。

 

如二分类情况：

后续过程便是逐个将拆分的三项求导并相乘即可。

 

详见小飞鱼的知乎链接：https://zhuanlan.zhihu.com/p/35709485