從梯度下降到ADMM-學習記錄

原創 正仪 2020-06-07 20:30

研一學的凸優化，現在忘得都差不多了，看了幾篇CSDN博客，彷彿回想起來不少，因此從基礎開始簡單記錄一下。

一、梯度下降算法

1.梯度的直觀理解

鏈接：淺談對梯度下降法的理解

2. 從泰勒公式到梯度下降的原理推導

鏈接：爲什麼局部下降最快的方向就是梯度的負方向？

二、拉格朗日乘子法

鏈接：拉格朗日乘子法

三、增廣拉格朗日函數法

鏈接：增廣拉格朗日函數法

四、ADMM算法

鏈接：ADMM算法理論與應用
鏈接：ADMM講解

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

徑向基函數插值(待更新....

一、直觀理解 核心思想：採樣n個點，依據這n個點獲得近似函數s(x)s(x)s(x)以逼近原函數f(x)f(x)f(x)，且所獲得的近似函數在此n個點上的值必須等於原函數，此爲插值。 樣本點自變量記爲：x1,...,xn∈Rdx

正仪 2020-07-01 14:02:42

design and analysis of computational and physical experiments

Optimization Codes ~ for design and analysis of computational and physical experiments： matlab代碼網址 matlab代碼下載網址

正仪 2020-06-29 02:22:10

SMO算法詳細推導（Sequential Minimal Optimization）

本文針對一般性的“軟判斷的核函數的對偶問題的SVM”，形如下式： 上式問題所在：當採樣點 xix_ixi​ 選取50000個點時，則基於核函數變量Θ(xi,xj)\bm{\Theta(x_i,x_j)}Θ(xi​,xj​)將需

正仪 2020-06-29 02:22:10

矩陣的Cholesky分解

原文鏈接：矩陣的Cholesky分解 首先來複習線性代數中幾個重要的概念。1）如果一個復矩陣A = A*（共軛轉置），則A稱爲Hermitian矩陣。（注意，矩陣A轉置後仍爲其本身，顯然A一定是方陣。）2）關於正定矩陣的定義：

正仪 2020-06-29 02:22:10

變分法原理

原文鏈接： 淺談變分法原理 首發於烤羚羊的理科教室寫文章淺談變分原理烤羚羊喫老本的物理教師、民科老鹹魚784 人贊同了該文章對付數學物理中極值問題，變分大法（variational principle）可謂是殺人放火居家旅行的必備

正仪 2020-06-16 11:41:10

Branin function 簡介

Branin functio is a well-known test function for global optimization. 函數表達式： f(x)=a(x2−bx12+cx1−r)2+s(1−t)cos(x1)+

正仪 2020-06-16 11:41:10

核函數與徑向基函數 (Radial Basis Function 簡稱 RBF)詳解

1.核函數 1.1核函數的由來 -----------還記得爲何要選用核函數麼？----------- 對於這個問題，在Jasper's Java Jacal博客《SVM入門（七）爲何需要核函數》中做了很詳細的闡述，另外博主

正仪 2020-06-16 11:41:10

Review of Surrogate Model Algorithms

Surrogate model based optimization algorithms consist in general of the following steps: In Step 1, an initial exp

正仪 2020-06-16 11:41:10

變分貝葉斯學習記錄

一、基礎知識 1.爲什麼要變分貝葉斯？ 這是由於傳統貝葉斯算法中的後驗概率(Posterior)P(Z∣X)P(Z|X)P(Z∣X)難以求解（其中XXX爲已知的觀測數據，ZZZ爲隱變量），因此，通過變分貝葉斯的方法，尋找一個近似後

正仪 2020-06-07 20:30:21

基於貝葉斯推斷的分類模型& 機器學習你會遇到的“坑”

鏈接：貝葉斯推斷分類 數學準備 概率：事件不確定性程度的量化，概率越大，表示事件發生的可能性越大。條件概率：P(A|B)，在條件B下，發生A的概率。 聯合概率：P(A,B)，A事件與B事件同時發生的概率。如果因子相互獨立，

正仪 2020-06-07 20:30:21

black-box優化——第一篇：基礎BBO算法

本篇博客先介紹一些 naive 的方法來解決 BBO 問題，這樣可以讓大家瞭解到爲什麼DFO在實際中，如此受到歡迎。 兩個縮寫： derivative free optimization (DFO) ：無導數優化 black-bo

正仪 2020-06-07 20:30:21

分類算法學習（二）——貝葉斯算法的原理及簡單實現

原文鏈接：分類算法學習（二）——貝葉斯算法的原理及簡單實現 1.3、貝葉斯分類的基礎——貝葉斯定理      每次提到貝葉斯定理，我心中的崇敬之情都油然而生，倒不是因爲這個定理多高深，而是因爲它特別有用。這個定理解決了現實生活

正仪 2020-06-07 20:30:21

black-box優化——第二篇：直接搜索算法

前文介紹的的CS算法隸屬於 “直接搜索法(direct search methods)” ，而直接搜索法的基本原則是：從現有解決方案中開始算法，並不斷地檢查試驗解集合。 如果發現當前的試驗解有改進，則更新現有解；否則，則減小步長參

正仪 2020-06-07 20:30:21

漸進最優性

作用： 漸進最優是用以評價算法的效率 定義： 如果已經證實一個問題需要使用Ω(f(n))的資源來解決，而某個算法用O(f(n))的資源來解決這個問題，則該算法就是漸進最優的。 解釋： (1) O符號表示函數在增長到一定程度時總小於

正仪 2020-06-07 20:30:21

變分法和變分貝葉斯推斷

本文轉載的原文鏈接：變分法和變分貝葉斯推斷 另一篇CSDN鏈接學習：變分貝葉斯推斷(Variational Bayes Inference)簡介 變分法是17世紀末發展起來的一門數學分支，是泛函分析裏面的一個領域，在普通的最優化問

正仪 2020-06-07 20:30:21