分類問題中的交叉熵損失和均方損失

分類問題的損失函數

1. 交叉熵損失（Cross Entropy Loss）：假設誤差是二值分佈，可以視爲預測概率分佈和真實概率分佈的相似程度。在分類問題中有良好的應用
   

   CE(θ)=−∑i=1nyi∗log(y^i)
   
   其中yi 表示真實概率分佈，只有yk=1 ，而yj=0 ，j≠k 。y^i 表示預測概率分佈，設它的輸入爲θi ，則y^i=softmax(θi)=exp(θi)∑jexp(θj)

2. 均方損失（Mean Square Loss）：假設誤差是正態分佈，適用於線性的輸出，特點是對於與真實結果差別越大，則懲罰力度越大，這並不適用於分類問題。
   

   MS(θ)=1n∑i=1n(yi−y^i)2
   
   其中y^i=W⋅θi 表示θi 的線性輸出。

---

交叉熵的求導過程

由於只有yk=1 ，而yj=0 ，j≠k ，則有

CE(θ)====−∑i=1nyi∗log(y^i)−log(y^k)−log(exp(θk)∑jexp(θj))−θk+log(∑jexp(θj))

故

∂CE(θ)∂θ=−∂θk∂θ+∂∂θlog(∑jexp(θj))

而根據∂θk∂θk=1 ，∂θk∂θq=0 ，q≠k ，得到

∂θk∂θ∂∂θilog(∑jexp(θj))==⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢0⋮1⋮0⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥exp(θi)∑jexp(θj)==yy^i

最終得到

∂CE∂θ=∂∂θlog(∑jexp(θj))−∂θk∂θ=y^−y

• 參考鏈接
• Why You Should Use Cross-Entropy Error Instead Of Classification Error Or Mean Squared Error For Neural Network Classifier Training
• What’s the difference between cross-entropy and mean-squared-error loss functions?
• Why is the Cross Entropy method preferred over Mean Squared Error?