原创 凸優化學習筆記 0：緒論
個人博客 Glooow ，歡迎各位大駕光臨 文章目錄0. 緒論1. 優化問題與凸優化1.1 一般優化問題1.2 凸優化問題 0. 緒論 首先明確凸優化這門課的主要目的： 判斷一個問題是否爲凸的 將一個問題轉化爲凸的 求解凸優
2020-06-16 02:03:34
原创 凸優化學習筆記 1：Convex Sets
個人博客 Glooow ，歡迎各位大駕光臨 文章目錄1. 凸集2. 常見凸集2.1 凸包(Convec hull)2.2 超平面(Hyperplanes)2.3 半空間(Halfspaces)2.4 多面體(Polyhedra
2020-06-16 02:03:34
原创 MATLAB R2016a 無法啓動並行池
最近在用 MATLAB 跑仿真，但是不知怎麼回事，之前並行計算 parfor 用的好好的，昨天突然就不能用了，一直報錯無法啓動並行池，報錯原因還特別奇怪。在網上找了一大堆教程互相抄來抄去，沒一個能用的。最後還是在官網論壇找到了一個
2020-06-16 02:03:34
15
原创 凸優化學習筆記 11：對偶原理 & 拉格朗日函數
前面講了凸優化問題的定義，以及一些常見的凸優化問題類型，這一章就要引入著名的拉格朗日函數和對偶問題了。通過對偶問題，我們可以將一些非凸問題轉化爲凸優化問題，還可以求出原問題的非平凡下界，這對複雜優化問題是很有用的。 1. 拉格朗
2020-06-16 02:03:34
1
原创 最優化方法 26：不動點迭代
前面講了很多具體的算法，比如梯度、次梯度、近似點梯度、加速近似點梯度、PPA、DR方法、ADMM、ALM等，對這些方法的迭代過程有了一些瞭解。這一節則主要是針對算法的收斂性進行分析，試圖從一個更加抽象的層面，利用不動點迭代的思想，
2020-06-16 02:03:34
原创 凸優化學習筆記 3：廣義不等式
個人博客地址 Glooow，歡迎光臨~~~ 文章目錄1. 正常錐2. 推廣不等式3. 最小元與極小元3.1 最小元(minimum)3.2 極小元(minimal)4. 對偶錐5. 最小元與極小元(應用對偶錐定義)5.1 最小
2020-06-16 02:03:34
原创 強大數定律與弱大數定律（民科解釋）
近學習的時候遇到了強大數定律與弱大數定律，兩者的區分提到了“依概率收斂”和“幾乎處處收斂”，由於本人的數學基礎太差，一直很難理解這個地方，在網上查閱了一些資料有了一些個人的理解，不知道對不對，不過還是想記錄下來。提前說明，這裏給出
2020-06-16 02:03:34
原创 Git 工作原理（一）
文章目錄1. Git 的文件管理1.1 Git 文件存儲1.2 Git 文件類型1.2.1 `blob` 文件1.2.2 `tree` 文件1.2.3 `commit` 文件1.2.4 `tag` 文件1.2.5 `index`
2020-06-16 02:03:34
原创 模糊數學學習筆記 6：模糊綜合評判
文章目錄1. 一級模糊綜合評判2. 多級模糊綜合評判 假如我們現在設計了一種服裝，想要調研一下這種服裝的受歡迎程度，該怎麼辦呢？ 首先是怎麼表示受歡迎程度呢？我們可以簡單分爲三個等級：受歡迎、一般歡迎、不受歡迎，由於不同的人感受可
2020-06-16 02:03:34
原创 最優化方法 25：PDHG
前面的章節要麼從原始問題出發，要麼從對偶問題出發，通過求解近似點或者一個子優化問題進行迭代，而且推導過程中我們發現根據問題的參數特徵，比如矩陣 AAA 是瘦高型的還是矮胖型的，採用對偶和原始問題的複雜度會不一樣，可以選擇一個更簡單
2020-05-26 19:09:21
原创 最優化方法 24：ADMM
上一節講了對偶問題上的 DR-splitting 就等價於原問題的 ADMM，這一節在詳細的講一下 ADMM 及其變種。 1. 標準 ADMM 形式 首先還是給出 ADMM 要求解的問題的格式，也就是約束存在耦合： minx,z
2020-05-21 07:49:07
2
原创 凸優化學習筆記 22：近似點算法 PPA
在進入具體的優化算法後，我們首先講了基於梯度的，比如梯度下降(GD)、次梯度下降(SD)；然後又講了近似點算子，之後講了基於近似點算子的方法，比如近似點梯度下降(PG)、對偶問題的近似點梯度下降(DPG)、加速近似點梯度下降(AP
2020-05-10 15:20:05
原创 凸優化學習筆記 23：算子分裂法 & ADMM
前面章節中，針對 minf(x)+g(Ax)\min f(x)+g(Ax)minf(x)+g(Ax) 形式的優化問題，我們介紹瞭如 PG、dual PG、ALM、PPA 等方法。但是比如 PG 方法爲 xk+1=proxth(x
2020-05-10 15:20:05
原创 凸優化學習筆記 21：加速近似梯度下降方法
我們證明了梯度方法最快的收斂速度只能是 O(1/k2)O(1/k^2)O(1/k2)（沒有強凸假設的話），但是前面的方法最多隻能達到 O(1/k)O(1/k)O(1/k) 的收斂速度，那麼有沒有方法能達到這一極限呢？有！這一節要講
2020-04-26 10:33:31
原创 凸優化學習筆記 20：對偶近似點梯度下降法
前面講了梯度下降、次梯度下降、近似點梯度下降方法並分析了收斂性。一開始我們還講了對偶原理，那麼如果原問題比較難求解的時候，我們可不可以轉化爲對偶問題並應用梯度法求解呢？當然可以，不過有一個問題就是對偶函數的梯度或者次梯度怎麼計算呢
2020-04-24 10:42:34