常見的誤差計算函數有均方差、交叉熵、KL 散度、Hinge Loss 函數等，其中均方差函數和交叉熵函數在深度學習中比較常見，均方差主要用於迴歸問題，交叉熵主要用於分類問題。下面我們來深刻理解下這兩個概念。
1、均方差MSE。
預測值與真實值之差的平方和，再除以樣本量。
均方差廣泛應用在迴歸問題中，在分類問題中也可以應用均方差誤差。
2、交叉熵
再介紹交叉熵損失函數之前，我們首先來介紹信息學中熵(Entropy)的概念。1948 年，Claude Shannon 將熱力學中的熵的概念引入到信息論中，用來衡量信息的不確定度。熵在信息學科中也叫信息熵，或者香農熵。熵越大，代表不確定性越大，信息量也就越大。某個分佈 (𝑖)的熵定義爲
實際上，𝐻(p )也可以使用其他底數的log函數計算。舉個例子，對於 4 分類問題，如果某個樣本的真實標籤是第 4 類，one-hot 編碼爲[0,0,0,1]，即這張圖片的分類是唯一確定的，它屬於第 4 類的概率P (y 𝑖s 4|𝑦) = 1，不確定性爲 0，它的熵可以簡單的計算爲
也就是，對於確定的分佈，熵爲 0，即不確定性最低。分類問題的 One-hot 編碼的分佈就是熵爲 典型的例子。
