爲什麼LR模型損失函數使用交叉熵不用均方差?

原文鏈接:https://blog.csdn.net/dpengwang/article/details/96597606

在這裏插入圖片描述

如果使用均方差作爲損失函數

在這裏插入圖片描述
在這裏插入圖片描述
所以,如果當前模型的輸出接近0或者1時,σ′(z)就會非常小,接近0,使得求得的梯度很小,損失函數收斂的很慢。

如果使用交叉熵作爲損失函數

在這裏插入圖片描述

原文鏈接:爲什麼LR模型損失函數使用交叉熵不用均方差?

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章