損失函數 - Cross Entropy Loss(交叉熵損失函數)

今天看到一篇寫的不錯的關於交叉熵損失的講解，感覺算法的各個步驟講的很詳細清晰，遂在博客中記錄一下。

交叉熵損失函數經常用於分類問題中，特別是在神經網絡做分類問題時，也經常使用交叉熵作爲損失函數，此外，由於交叉熵涉及到計算每個類別的概率，所以交叉熵幾乎每次都和sigmoid(或softmax)函數一起出現。

我們用神經網絡最後一層輸出的情況，來看一眼整個模型預測、獲得損失和學習的流程：

1. 神經網絡最後一層得到每個類別的得分scores；
2. 該得分經過sigmoid(或softmax)函數獲得概率輸出；
3. 模型預測的類別概率輸出與真實類別的one hot形式進行交叉熵損失函數的計算。

 

如二分類情況：

後續過程便是逐個將拆分的三項求導並相乘即可。

 

詳見小飛魚的知乎鏈接：https://zhuanlan.zhihu.com/p/35709485