最近複習最優化,感覺網上的dogleg方法寫的不是很清楚。信賴域的算法框架很容易找到,這裏簡單介紹dogleg算法中關於p的求解部分。
參考資料:
http://www2.math.umd.edu/~mariakc/teaching/trustregion.pdf
dogleg方法的思想在於結合了最速下降方向與擬牛頓方向,要求Bk對稱正定。當信賴域的半徑較小時,最速下降方向起主要作用,當信賴域半徑較大時,擬牛頓方向起主要作用。
最近複習最優化,感覺網上的dogleg方法寫的不是很清楚。信賴域的算法框架很容易找到,這裏簡單介紹dogleg算法中關於p的求解部分。
參考資料:
http://www2.math.umd.edu/~mariakc/teaching/trustregion.pdf
dogleg方法的思想在於結合了最速下降方向與擬牛頓方向,要求Bk對稱正定。當信賴域的半徑較小時,最速下降方向起主要作用,當信賴域半徑較大時,擬牛頓方向起主要作用。
點這個: https://towardsdatascience.com/a-road-map-for-deep-learning-b9aee0b2919f