深度学习 比较三种损失函数的使用（交叉熵、平方、绝对值）

注意：$y^*$代表的是标签值仅仅有$0、1$两个值，$y$是获得的语义值（$softmax$后的逻辑值）

交叉熵：

$Loss1 = - y^**log^y$

• 当$y^*$为0时：Loss的值为0
• 当$y^*$为1时：Loss的值为$-log^y$

平方：

$Loss2 = y^**(1-y)^2$

• 当$y^*$为0时：Loss的值为0
• 当$y^*$为1时：Loss的值为$(1-y)^2$

绝对值：

$Loss3 = y^**|1-y|^2$

• 当$y^*$为0时：Loss的值为0
• 当$y^*$为1时：Loss的值为$|1-y|$

---

这是三种求损失函数的表达式

我们可以对这三种损失函数就行求偏导

这样我们可以得到：

$Loss1' = - \frac{y'}{y}$

$Loss2' = - 2*(1-y)*y'$

$Loss3' = -y'$

通过上面的表达式，我们可以进行比较一下

这三个$Loss$的值在进行梯度下降的时候，其中梯度的变化程度

因为$y$是概率值，是大于0小于1的

所以按照公式进行比较的话，会有如下的答案：

$Loss1 > Loss3 > Loss2$

---