高斯過程-狀態分佈

學習視頻：正態分佈推導

引入

1、1805年，勒讓德《計算彗星軌道新方法》，首次採用最小二乘法；
2、1809年，高斯《天體運動理論》，處理軌跡的誤差，探究誤差發現誤差分佈服從正態分佈，並且利用最小二乘法驗證了分佈；

推導

假設誤差密度函數f(x)，有n個獨立觀測值，x1…xn,， 真值x
L(x) = f(x1-x)f(x2-x)···f(xn-x) 似然函數
對似然函數取對數（極大似然估計知識點），
lnL(x) = i for 1 to n sum(ln(f(xi-x)))
$lnL(x) = \sum_{i=1}^n(ln f(x_i-x))$
找最大值，求偏導=0的點
$\frac{d lnL(x)}{dx} = - \sum_{i=1}^n \frac{{f}'(x_i - x)}{f(x_i - x)} = 0$

記： $g(x) = \frac{{f}'(x)}{f(x)}$

則：$\sum_{i=1}^n g(x_i - x) = 0$

高斯巧妙的將真值 $x$ 估計成
$\overline{x} = \frac{x_1 + x_2 + ... + x_n}{n}$
帶入得：
$\sum_{i=1}^n g(x_i - \overline{x}) = 0$
對$x_1$求偏導：
${g}'(x_1 - \overline{x})(1 - \frac{1}{n})+{g}'(x_2 - \overline{x})(- \frac{1}{n})+...+{g}'(x_n - \overline{x})(- \frac{1}{n}) = 0$
對$x_2$求偏導：
${g}'(x_1 - \overline{x})(- \frac{1}{n})+{g}'(x_2 - \overline{x})(1 - \frac{1}{n})+...+{g}'(x_n - \overline{x})(- \frac{1}{n}) = 0$
對$x_n$求偏導：
${g}'(x_1 - \overline{x})(- \frac{1}{n})+{g}'(x_2 - \overline{x})(- \frac{1}{n})+...+{g}'(x_n - \overline{x})(1 - \frac{1}{n}) = 0$

有n個其次方程組，
利用齊次線性方程組解出，$X = c * (1...1)^T$,
即：${g}'(x_1 - \overline{x}) = {g}'(x_2 - \overline{x}) =... = {g}'(x_n - \overline{x}) = C$
則：$g(x) = cx+b$
由於：
$0 = \sum_{i=1}^n g(x_i - \overline{x})$
$0 = \sum_{X=1}^n c(x_i - \overline{x}) + nb$
而：$\sum_{X=1}^n (x_i - \overline{x})$ 恰好 = 0，所以nb=0 $\longrightarrow$ b=0
然後：$g(x) = cx$，$g(x) = \frac{{f}'(x)}{f(x)} = cx$
（解出微分方程）：
$f(x) = ke^{\frac{1}{2}cx^2}$

由密度函數：
$\int_{- \infty}^{+ \infty} f(x) dx = 1$
可知最終函數是收斂的，只有當c爲負數時滿足，
記 $c = - \frac{1}{\sigma^2}$

利用：$\int_{-\infty }^{_+\infty } e^{-x^2}dx = \sqrt{\pi}$
得到：$k = \frac{1}{\sqrt{2\pi} \sigma}$
所以：$f(x) = \frac{1}{\sqrt{2\pi} \sigma} e^{-\frac{x^2}{2 \sigma^2}}$
此時期望(均值)爲 $0$，方差爲 ${\sigma}^2$

正態分佈-宋浩老師-課程節選

當$f(x) = \frac{1}{\sqrt{2\pi} \sigma} e^{-\frac{(x-\mu)^2}{2 \sigma^2}}$
同$f(x) = \frac{1}{\sqrt{2\pi} \sigma} exp({-\frac{(x-\mu)^2}{2 \sigma^2}})$
此時期望(均值)爲 $\mu$，方差爲 ${\sigma}^2$

創新：
背景，當時流行的是貝葉斯式推導，
而高斯，
1、直接構造L(x)，
2、逆向思維 $ x = \overline{x}$

正態分佈性質：
1、密度函數是唯一個經過傅里葉變化不變的
2、輕尾式
3、。。。
4、。。。

Gaussian Processes：
高斯分佈-隨機過程

1、高斯過程
2、機器學習-白板推導系列(二十)-高斯過程GP(Gaussian Process)
高斯過程是定義在練出域上的無限維高斯分佈
高斯過程是定義在練出域上的無限個高斯隨機變量所組成的隨機過程
連續域：比如時間、空間
3、

---

在線數學公式的編輯工具
Markdown數學符號&公式