來源:嗶哩嗶哩UP主莫煩Python的神經網絡 : 梯度下降 (Gradient Descent in Neural Nets)
爲了方便觀看,取一個容易看懂的代價函數
藍色點的斜率,就是該點的梯度。
根據梯度與學習率,執行梯度下降操作
如果遇到非凸函數,就會有很多局部最優解,很難一次性找到全局最優解
在優化函數是非凸函數的情況下,就需要確定優化函數的上界函數(需要是凸函數),然後對這個上界函數進行優化,這樣就可以找到非凸函數的全局最優解。
來源:嗶哩嗶哩UP主莫煩Python的神經網絡 : 梯度下降 (Gradient Descent in Neural Nets)
爲了方便觀看,取一個容易看懂的代價函數
藍色點的斜率,就是該點的梯度。
根據梯度與學習率,執行梯度下降操作
如果遇到非凸函數,就會有很多局部最優解,很難一次性找到全局最優解
在優化函數是非凸函數的情況下,就需要確定優化函數的上界函數(需要是凸函數),然後對這個上界函數進行優化,這樣就可以找到非凸函數的全局最優解。
01 背景介紹 GPU 目前大量應用在了愛奇藝深度學習平臺上。GPU 擁有成百上千個處理核心,能夠並行的執行大量指令,非常適合用來做深度學習相關的計算。在 CV(計