次梯度方法
https://www.cnblogs.com/connorzx/p/4797194.html
http://ju.outofmemory.cn/entry/94943
文獻：Computing the Best Approximation Over the Intersection of a Polyhedral Set and the Doubly Nonnegative Cone(2018)
凸優化 有一天，機器學習、數學規劃、運籌學、最優化…各種門類聚在一起開會，幾經討論，大家一致統一思想，先解決掉“凸優化”，然後大家的日子就都好過了。 參考資料 知乎問題 : 如何從零開始學習凸優化？ 我的凸優化學習之路
首先來區分一下全序關係和偏序關係； 全序關係： 設集合X上有一全序關係，如果我們把這種關係用 ≤ 表述，則下列陳述對於 X 中的所有 a, b 和 c 成立： 如果 a ≤ b 且 b ≤ a 則 a = b (反對稱性) 如果 a ≤
Dual Gradient Descent 在guided policy search算法中使用了對偶梯度下降法，但是一直沒找到較好的參考資料。這裏找到了一份PPT講解，很清楚，有幾何含義的解釋。 文檔鏈接：https://pan
系統學習《動手學深度學習》點擊下面這個鏈接，有全目錄哦~ https://blog.csdn.net/Shine_rise/article/details/104754764 文章目錄優化與深度學習優化與估計優化在深度學習中的挑戰
f∈Hom(U,V) f\in Hom(U,V) f∈Hom(U,V) 就是說 f:U→Vf: U\rightarrow Vf:U→V 是一個線性映射，等價於說 fff 是 UUU 到 VVV 的一個線性映射。Hom(U,V)Ho
凸優化問題這部分我個人認爲就是分清楚不同凸優化問題的【形式】以及如何轉換。當然既然是凸優化，目標函數是凸函數。不等式約束函數是凸函數，等式約束是仿射的，這些基本要求是必須的。 具體的，要注意的是： 轉化等價凸問題的方法 消除/引
一、優化問題 總體來看，機器學習的核心目標是給出一個模型（一般是映射函數），然後定義對這個模型好壞的評價函數（目標函數），求解目標函數的極大值或者極小值，以確定模型的參數，從而得到我們想要的模型。在這三個關鍵步驟中，前兩個是機器學
1.泛函數的幾何意義 2.共軛函數的幾何意義 3.凸函數的局部最優解就是全局最優解 4.最優解的判斷準則證明 5.無約束二次規劃解討論 6.分離超平面定理
文章目錄引言第1章 Introduction凸優化問題最小二乘問題線性規劃問題一個優化問題例子：最佳燈源問題Chebyshev逼近問題，轉化成線性規劃參考資料 2020年我自己希望多看一些基礎的理論知識，包括優化理論、微分方程等，
文章目錄第3章 Convex Sets and Convex functions凸優化問題的定義凸集的定義：convex hull（凸包） 定義：一些凸集的examples：錐（Cone）和凸錐（Convex Cone）的定義凸集
上篇博客開始了我的凸優化之旅，介紹了凸集和凸函數的定義，這篇博客給出凸函數非常有用的性質和判別條件，並給出其數學證明，同時給出強凸函數定義。 首先勘誤一下上篇博客關於嚴格凸的定義，其條件不是λ∈[0,1]\lambda \in [
最近被迫學習了凸優化理論，感覺還是有點東西的，個人感覺機器學習的內核就是優化，如果該優化問題還能轉成或者近似成凸優化那將是一個巨大的突破，因爲凸函數的性質非常優秀，（擬）凸優化的理論研究也已經比較成熟。不過遺憾的是，我們的非凸優化
前面的章節基本上講完了凸優化相關的理論部分，在對偶原理以及 KKT 條件那裏我們已經體會到了理論之美！接下來我們就要進入求解算法的部分，這也是需要濃墨重彩的一部分，畢竟我們學習凸優化就是爲了解決實際當中的優化問題。我們今天首先要接
前面章節中，針對 minf(x)+g(Ax)\min f(x)+g(Ax)minf(x)+g(Ax) 形式的優化問題，我們介紹瞭如 PG、dual PG、ALM、PPA 等方法。但是比如 PG 方法爲 xk+1=proxth(x
