原创 凸優化學習筆記 15：梯度方法
前面的章節基本上講完了凸優化相關的理論部分，在對偶原理以及 KKT 條件那裏我們已經體會到了理論之美！接下來我們就要進入求解算法的部分，這也是需要濃墨重彩的一部分，畢竟我們學習凸優化就是爲了解決實際當中的優化問題。我們今天首先要接
2020-06-16 02:03:37
原创 最優化方法 23：算子分裂法 & ADMM
前面章節中，針對 minf(x)+g(Ax)\min f(x)+g(Ax)minf(x)+g(Ax) 形式的優化問題，我們介紹瞭如 PG、dual PG、ALM、PPA 等方法。但是比如 PG 方法爲 xk+1=proxth(x
2020-06-16 02:03:37
1
原创 最優化方法 22：近似點算法 PPA
在進入具體的優化算法後，我們首先講了基於梯度的，比如梯度下降(GD)、次梯度下降(SD)；然後又講了近似點算子，之後講了基於近似點算子的方法，比如近似點梯度下降(PG)、對偶問題的近似點梯度下降(DPG)、加速近似點梯度下降(AP
2020-06-16 02:03:37
原创 最優化方法 18：近似點算子 Proximal Mapping
前面講了梯度下降法，分析了其收斂速度，對於存在不可導的函數介紹了次梯度的計算方法以及次梯度下降法，這一節要介紹的內容叫做近似點算子(Proximal mapping)，也是爲了處理非光滑問題。 文章目錄1. 閉函數2. 共軛函數3
2020-06-16 02:03:37
6
原创 凸優化學習筆記 2：超平面分離定理
個人博客地址 Glooow，歡迎光臨~~~ 文章目錄1. 超平面分離定理2. 支撐超平面定理 1. 超平面分離定理 超平面分離定理(Separating hyperplane theorem)：若 C,DC,DC,D 爲非空凸
2020-06-16 02:03:37
6
原创 最優化方法 20：對偶近似點梯度下降法
前面講了梯度下降、次梯度下降、近似點梯度下降方法並分析了收斂性。一開始我們還講了對偶原理，那麼如果原問題比較難求解的時候，我們可不可以轉化爲對偶問題並應用梯度法求解呢？當然可以，不過有一個問題就是對偶函數的梯度或者次梯度怎麼計算呢
2020-06-16 02:03:37
原创 模糊數學學習筆記 7：層次分析法
日常生活中有許多決策問題。決策是指在面臨多種方案時需要依據一定的標準選擇某一種方案。 比如買鋼筆，一般要依據質量、顏色、實用性、價格、外形等方面的因素選擇某一支鋼筆。 又比如假期旅遊，是去風光秀麗的蘇州，還是去迷人的北戴河，或者是
2020-06-16 02:03:37
原创 模糊數學學習筆記 5：模糊聚類
個人博客地址 Glooow，歡迎光臨~~~ 文章目錄1. 數據標準化2. 建立模糊相似矩陣1.1 相關係數類1.2 距離類1.3 貼近度類3. 聚類4. 其他問題5. 模糊C均值法(FCM) 現在想要對 nnn 個目標 U={
2020-06-16 02:03:37
原创 凸優化學習筆記 13：KKT條件 & 互補性條件 & 強對偶性
前面我們講了凸優化問題、對偶原理、拉格朗日函數、KKT 條件，還從幾何角度解釋了強對偶性，那麼這一節將從代數角度解釋強對偶性。 有需要的話可以參考前面兩節內容 凸優化學習筆記 10：凸優化問題 凸優化學習筆記 11：對偶原理 凸
2020-06-16 02:03:37
原创 模糊數學學習筆記 4：模糊關係
個人博客地址 Glooow，歡迎光臨~~~ 文章目錄1. 模糊關係2. 模糊矩陣2.1 定義2.2 運算性質2.3 截矩陣2.4 模糊關係合成3. 模糊關係性質3.1 自反性、對稱性、傳遞性3.2 模糊相似關係與等價關係3.3
2020-06-16 02:03:37
原创 統計推斷(一) Hypothesis Test
個人博客地址 Glooow，歡迎光臨~~~ 文章目錄1. Binary Bayesian hypothesis testing1.0 Problem Setting1.1 Binary Bayesian hypothesis
2020-06-16 02:03:35
原创 最優化方法 21：加速近似梯度下降方法
我們證明了梯度方法最快的收斂速度只能是 O(1/k2)O(1/k^2)O(1/k2)（沒有強凸假設的話），但是前面的方法最多隻能達到 O(1/k)O(1/k)O(1/k) 的收斂速度，那麼有沒有方法能達到這一極限呢？有！這一節要講
2020-06-16 02:03:34
1
原创 凸優化學習筆記 12：KKT條件
上一小節講了拉格朗日函數，可以把原始問題轉化爲對偶問題，並且對偶問題是凸的。我們還得到了弱對偶性和強對偶性的概念，並且提到了 Slater Condition 保證凸問題的強對偶性成立，並且給出了一些幾何的直觀解釋。那麼在這一節，
2020-06-16 02:03:34
原创 最優化方法 19：近似梯度下降
前面講了梯度下降法、次梯度下降法，並分析了他們的收斂性。上一節講了近似梯度算子，我們說主要是針對非光滑問題的，這一節就要講近似梯度算子在非光滑優化問題中的應用。先回顧一下上一節最重要的一部分內容：對於指示函數 δC\delta_C
2020-06-16 02:03:34
原创 凸優化學習筆記 14：SDP Representablity
這一節簡單介紹一個 SDP Representablity（SDP-Rep），這個概念的提出主要是爲了便於判斷某個問題是否可以轉化爲 SDP 優化問題。 定義：集合 X⊆RnX\subseteq R^nX⊆Rn 是 SDP-Rep
2020-06-16 02:03:34