對貝葉斯(Bayes)線性迴歸的理解（一）

線性迴歸假設:Y=β1X+β0+ϵ$Y={\beta }_{1}X+{\beta }_0+ϵ$

我們假設數據具有以下形式：
y=β1x+β0+ϵ$y={\beta }_{1}x+{\beta }_0+ϵ$ where ϵ$ϵ$ ~N(μ,σμϵ)$N(\mu ,{\sigma }_{ϵ}^{\mu })$
這樣的模型可以生產如下的數據：

普通最小二乘法(OLS)線性迴歸

如果我們有上圖所示的一個數據集，我們就需要找到一條合適的直線來描述上述的數據，可以通過以下公式來描述這條直線：
y=β1x+β0$y={\beta }_{1}x+{\beta }_0$
我們的目標是找到β0${\beta }_0$ 和β1${\beta }_1$ 使得我們的數據具有最小的RMSE(均方根誤差)，即實現以下表達式：
β1,β0=argminβ1,β0∑Ni=1(yi−(β1xi+β0))2${\beta }_1,{\beta }_0=argmi{n}_{{\beta }_1,{\beta }_0}\sum _{i=1}^N(y_i-({\beta }_1{x}_i+{\beta }_0){)}^2$
我們可以用線性迴歸來擬合一條簡單的線：

在有數據的區域我們的表達式得到的直線幾乎是正確的，但是在數據缺失或者沒有數據的區域就很難根據表達式來判斷，因此我們需要一個通用的度量來描述數據。

在上圖中我們可以看到置信界限(conbdence bounds)如何增加(因此答案的不確定性增加)。從線性迴歸中我們不能得到這些，這就是爲什麼我們需要貝葉斯線性迴歸。

貝葉斯規則

首先我們看條件概率的基本表達式：
P(A|B)=P(B|A)P(A)P(B)$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$
這個表達式代表了事件B發生的條件下事件A發生的概率(即後驗概率)，等號右邊代表在Ad條件下B發生的概率乘以A發生的概率(即先驗概率)再除以B發生的概率。

貝葉斯定理如何與這個問題相關

現在讓我們解釋貝葉斯規則中的每個變量，首先設A是用θ$\theta$ 表示的學習模型（即β0和β1${\beta }_0和{\beta }_1$ ）的參數, B是數據D。所以可以表示爲：
P(θ|D)=P(D|θ)P(θ)P(D)$P(\theta |D)=\frac{P(D|\theta )P(\theta )}{P(D)}$
爲了解決這個問題，我們將在給定數據的情況下得到θ$\theta$ (即β0${\beta }_0$ 和β1${\beta }_1$ )中所有參數的聯合分佈。也就是說P(θ|D)$P(\theta |D)$ 告訴我們在給定的數據β0和β1${\beta }_0和{\beta }_1$ 的值時，概率爲多少。這被稱爲後驗分佈。
計算步驟：
1.P(D|θ)$P(D|\theta )$ :模型中有參數θ$\theta$ 對觀測數據的擬合情況
2. P(θ)$P(\theta )$ ：我們之前對θ$\theta$ 參數可能值的先驗設想。先驗越接近真實，能越快越準確的發現正確的後驗分佈。
3. P(D)$P(D)$ :觀測數據的概率，是一個常數值。

先驗P(θ)$P(\theta )$ :我們認爲參數是什麼樣子的？

在貝葉斯設置中，我們用分佈(高斯分佈，正態分佈)來表示參數值(β0,β1${\beta }_0,{\beta }_1$ )。

用概率分佈指定參數

例如我們用均值爲0，標準差爲3的正態分佈來表示參數β0${\beta }_0$ , 則
β0${\beta }_0$ ~N(μ=0,σ2=9)$N(\mu =0,{\sigma }^2=9)$
用均值爲0， 方差爲5來表示β1${\beta }_1$ , 則
β1${\beta }_1$ ~N(μ=0,σ2=5)$N(\mu =0,{\sigma }^2=5)$
如果我們對β$\beta$ 的許多值進行取樣，我們會更加接近真正的正態分佈，下圖是兩個正態分佈圖，從圖中可以看出，β1${\beta }_1$ 比β0${\beta }_0$ 更加扁平（β1比β0${\beta }_1比{\beta }_0$ 接近0的比例較高）

一個好的先驗概率P(θ)$P(\theta )$ 是很重要的，因爲先驗與後驗越接近，我們就會更快的得到真正的後驗。如果先驗與後驗分佈一致，當我們從先驗中取樣時，實際上就是從後驗中取樣。

之後的內容在對貝葉斯(Bayes)線性迴歸的理解（二）中更新。。。