原创 徑向基函數插值(待更新....

一、直觀理解 核心思想:採樣n個點,依據這n個點獲得近似函數s(x)s(x)s(x)以逼近原函數f(x)f(x)f(x),且所獲得的近似函數在此n個點上的值必須等於原函數,此爲插值。 樣本點自變量記爲:x1,...,xn∈Rdx

原创 design and analysis of computational and physical experiments

Optimization Codes ~ for design and analysis of computational and physical experiments: matlab代碼網址 matlab代碼下載網址

原创 SMO算法詳細推導(Sequential Minimal Optimization)

本文針對一般性的“軟判斷的核函數的對偶問題的SVM”,形如下式: 上式問題所在:當採樣點 xix_ixi​ 選取50000個點時,則基於核函數變量Θ(xi,xj)\bm{\Theta(x_i,x_j)}Θ(xi​,xj​)將需

原创 矩陣的Cholesky分解

原文鏈接:矩陣的Cholesky分解 首先來複習線性代數中幾個重要的概念。1)如果一個復矩陣A = A*(共軛轉置),則A稱爲Hermitian矩陣。(注意,矩陣A轉置後仍爲其本身,顯然A一定是方陣。)2)關於正定矩陣的定義:

原创 變分法原理

原文鏈接: 淺談變分法原理 首發於烤羚羊的理科教室寫文章淺談變分原理烤羚羊喫老本的物理教師、民科老鹹魚784 人贊同了該文章對付數學物理中極值問題,變分大法(variational principle)可謂是殺人放火居家旅行的必備

原创 Branin function 簡介

Branin functio is a well-known test function for global optimization. 函數表達式: f(x)=a(x2−bx12+cx1−r)2+s(1−t)cos(x1)+

原创 核函數與徑向基函數 (Radial Basis Function 簡稱 RBF)詳解

1.核函數 1.1核函數的由來 -----------還記得爲何要選用核函數麼?----------- 對於這個問題,在Jasper's Java Jacal博客《SVM入門(七)爲何需要核函數》中做了很詳細的闡述,另外博主

原创 Review of Surrogate Model Algorithms

Surrogate model based optimization algorithms consist in general of the following steps: In Step 1, an initial exp

原创 matlab常見用法學習記錄

一、matlab存儲維數不同的矩陣 問題描述: 假如有100個矩陣,我想把這100個矩陣存儲到一個高維矩陣中,我一般會使用這樣的命令,即對於一個矩陣a, a是個3成4矩陣 有A(:,:,1)=a; 同樣對於b, 我一般用A(:,

原创 變分貝葉斯學習記錄

一、基礎知識 1.爲什麼要變分貝葉斯? 這是由於傳統貝葉斯算法中的後驗概率(Posterior)P(Z∣X)P(Z|X)P(Z∣X)難以求解(其中XXX爲已知的觀測數據,ZZZ爲隱變量),因此,通過變分貝葉斯的方法,尋找一個近似後

原创 基於貝葉斯推斷的分類模型& 機器學習你會遇到的“坑”

鏈接:貝葉斯推斷分類 數學準備 概率:事件不確定性程度的量化,概率越大,表示事件發生的可能性越大。條件概率:P(A|B),在條件B下,發生A的概率。 聯合概率:P(A,B),A事件與B事件同時發生的概率。如果因子相互獨立,

原创 black-box優化——第一篇:基礎BBO算法

本篇博客先介紹一些 naive 的方法來解決 BBO 問題,這樣可以讓大家瞭解到爲什麼DFO在實際中,如此受到歡迎。 兩個縮寫: derivative free optimization (DFO) :無導數優化 black-bo

原创 分類算法學習(二)——貝葉斯算法的原理及簡單實現

原文鏈接:分類算法學習(二)——貝葉斯算法的原理及簡單實現 1.3、貝葉斯分類的基礎——貝葉斯定理      每次提到貝葉斯定理,我心中的崇敬之情都油然而生,倒不是因爲這個定理多高深,而是因爲它特別有用。這個定理解決了現實生活

原创 從梯度下降到ADMM-學習記錄

研一學的凸優化,現在忘得都差不多了,看了幾篇CSDN博客,彷彿回想起來不少,因此從基礎開始簡單記錄一下。 一、梯度下降算法 1.梯度的直觀理解 鏈接:淺談對梯度下降法的理解 2. 從泰勒公式到梯度下降的原理推導 鏈接:爲什麼局部下

原创 Adobe Acrobat Pro DC二次激活失敗的解決方案

問題描述: 曾經用AMTEmu v0.9.2激活成功過,但是Adobe Acrobat Pro DC使用一段時間以後,又顯示試用期已過(可能是由於自動更新未關),所以又重新激活,可是總是激活失敗,且打開Adobe Acrobat