转参考知乎ID（小飞鱼）链接：损失函数-交叉熵损失函数
1.交叉熵损失函数表达式
1.1二分类式：L=-[y*log(p)+(1-y)*log(1-p)]
参数含义：
y：样本标签，正确为1，错误为0
p：预测正确概率
1.2多分类表达式如图：
参数含义：
M：类别的数量
yc：只是变量，正确为1，否则为0
Pc:预测正确的概率
2.函数的性质
右图可得，函数为凸函数，求导即可得到全局最优值。
3.二分类情况函数求导推导
如上图所示，求导分为三部分，即：
（1）第一部分：
（2）第二部分：
（3）第三部分：
（4）合并得：
4.优点
梯度下降算法在更新参数的时候，模型的学习率与两个数值有关。
一：学习率（自身设定的超参数）
二：偏导值（决定函数由上图所示）
当学习效果较差时，学习的速率越快，当学习效果变好时，学习的速率就会减缓。