神經網絡中誤差值計算公式的選取

在這裏插入圖片描述
(1)第一種可以清晰地看到由於正負抵消,總體誤差和爲0相當於總體沒有誤差,即使正負不能完全抵消也不符合真實情況。因此這種方式不是一種很好的測量方式。
(2)第二種採用絕對值,因爲不考慮符號,解決了誤差相互抵消問題。但這樣的誤差函數圖像是V字行的,在最小值附近不連續。因此這種方式不是一種很好的測量方式。
(3)第三種採用差的平方,使得誤差函數平滑連續,並容易計算梯度下降的斜率,越接近最小值梯度越小,因此可以通過調節步長來降低超調風險。
當然,我們還可以自己創建新的誤差函數,可能有的行不通,可能有的針對特定問題效果很好。

注:思想來源於《Python神經網絡編程》

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章