常见的误差计算函数有均方差、交叉熵、KL 散度、Hinge Loss 函数等，其中均方差函数和交叉熵函数在深度学习中比较常见，均方差主要用于回归问题，交叉熵主要用于分类问题。下面我们来深刻理解下这两个概念。
1、均方差MSE。
预测值与真实值之差的平方和，再除以样本量。
均方差广泛应用在回归问题中，在分类问题中也可以应用均方差误差。
2、交叉熵
再介绍交叉熵损失函数之前，我们首先来介绍信息学中熵(Entropy)的概念。1948 年，Claude Shannon 将热力学中的熵的概念引入到信息论中，用来衡量信息的不确定度。熵在信息学科中也叫信息熵，或者香农熵。熵越大，代表不确定性越大，信息量也就越大。某个分布 (𝑖)的熵定义为
实际上，𝐻(p )也可以使用其他底数的log函数计算。举个例子，对于 4 分类问题，如果某个样本的真实标签是第 4 类，one-hot 编码为[0,0,0,1]，即这张图片的分类是唯一确定的，它属于第 4 类的概率P (y 𝑖s 4|𝑦) = 1，不确定性为 0，它的熵可以简单的计算为
也就是，对于确定的分布，熵为 0，即不确定性最低。分类问题的 One-hot 编码的分布就是熵为 典型的例子。
