高斯過程迴歸(GPR)—— 數學推導

補充知識點:1. 高斯分佈; 2. 條件概率P的值:P = N(u, E) ??

posterior:後驗分佈

GP連續域上,無限多個高維隨機變量(高斯分佈)所組成的隨機過程。

\xi :高維高斯分佈:高維高斯分佈 

GPR可從兩個視角觀察

      權重空間角度函數空間角度,二者結果一樣,但函數空間角度更加簡單。

1. 權重空間角度

     GPR = Bayesian LR + Kernal Trick

2. 權重空間到函數空間

 因爲f(x)的協方差函數cov是一個核函數,因此其可看成一個高斯過程

(1)f(x)是一個函數;

(2)f(x)是服從高斯分佈的隨機變量。

存在定理:對任意集合S中的單個元素都存在某個均值函數,以及對任意集合S中的2個元素都存在某個核函數(即協方差函數),則在S上一定存在一個高斯過程Z(t),其元素具有類似S形式的均值和方差。所以在給定集合S後,我們只需要給出一個一元的均值函數,一個二元的核函數表達式,就可以構造出一個高斯過程。

3. 函數空間角度

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章