簡單介紹梯度下降

來源:嗶哩嗶哩UP主莫煩Python的神經網絡 : 梯度下降 (Gradient Descent in Neural Nets)

在這裏插入圖片描述

爲了方便觀看,取一個容易看懂的代價函數

1559098879741

藍色點的斜率,就是該點的梯度。

根據梯度與學習率,執行梯度下降操作

在這裏插入圖片描述

如果遇到非凸函數,就會有很多局部最優解,很難一次性找到全局最優解

1559099110757

在優化函數是非凸函數的情況下,就需要確定優化函數的上界函數(需要是凸函數),然後對這個上界函數進行優化,這樣就可以找到非凸函數的全局最優解。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章