对贝叶斯(Bayes)线性回归的理解（一）

线性回归假设:Y=β1X+β0+ϵ$Y={\beta }_{1}X+{\beta }_0+ϵ$

我们假设数据具有以下形式：
y=β1x+β0+ϵ$y={\beta }_{1}x+{\beta }_0+ϵ$ where ϵ$ϵ$ ~N(μ,σμϵ)$N(\mu ,{\sigma }_{ϵ}^{\mu })$
这样的模型可以生产如下的数据：

普通最小二乘法(OLS)线性回归

如果我们有上图所示的一个数据集，我们就需要找到一条合适的直线来描述上述的数据，可以通过以下公式来描述这条直线：
y=β1x+β0$y={\beta }_{1}x+{\beta }_0$
我们的目标是找到β0${\beta }_0$ 和β1${\beta }_1$ 使得我们的数据具有最小的RMSE(均方根误差)，即实现以下表达式：
β1,β0=argminβ1,β0∑Ni=1(yi−(β1xi+β0))2${\beta }_1,{\beta }_0=argmi{n}_{{\beta }_1,{\beta }_0}\sum _{i=1}^N(y_i-({\beta }_1{x}_i+{\beta }_0){)}^2$
我们可以用线性回归来拟合一条简单的线：

在有数据的区域我们的表达式得到的直线几乎是正确的，但是在数据缺失或者没有数据的区域就很难根据表达式来判断，因此我们需要一个通用的度量来描述数据。

在上图中我们可以看到置信界限(conbdence bounds)如何增加(因此答案的不确定性增加)。从线性回归中我们不能得到这些，这就是为什么我们需要贝叶斯线性回归。

贝叶斯规则

首先我们看条件概率的基本表达式：
P(A|B)=P(B|A)P(A)P(B)$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$
这个表达式代表了事件B发生的条件下事件A发生的概率(即后验概率)，等号右边代表在Ad条件下B发生的概率乘以A发生的概率(即先验概率)再除以B发生的概率。

贝叶斯定理如何与这个问题相关

现在让我们解释贝叶斯规则中的每个变量，首先设A是用θ$\theta$ 表示的学习模型（即β0和β1${\beta }_0和{\beta }_1$ ）的参数, B是数据D。所以可以表示为：
P(θ|D)=P(D|θ)P(θ)P(D)$P(\theta |D)=\frac{P(D|\theta )P(\theta )}{P(D)}$
为了解决这个问题，我们将在给定数据的情况下得到θ$\theta$ (即β0${\beta }_0$ 和β1${\beta }_1$ )中所有参数的联合分布。也就是说P(θ|D)$P(\theta |D)$ 告诉我们在给定的数据β0和β1${\beta }_0和{\beta }_1$ 的值时，概率为多少。这被称为后验分布。
计算步骤：
1.P(D|θ)$P(D|\theta )$ :模型中有参数θ$\theta$ 对观测数据的拟合情况
2. P(θ)$P(\theta )$ ：我们之前对θ$\theta$ 参数可能值的先验设想。先验越接近真实，能越快越准确的发现正确的后验分布。
3. P(D)$P(D)$ :观测数据的概率，是一个常数值。

先验P(θ)$P(\theta )$ :我们认为参数是什么样子的？

在贝叶斯设置中，我们用分布(高斯分布，正态分布)来表示参数值(β0,β1${\beta }_0,{\beta }_1$ )。

用概率分布指定参数

例如我们用均值为0，标准差为3的正态分布来表示参数β0${\beta }_0$ , 则
β0${\beta }_0$ ~N(μ=0,σ2=9)$N(\mu =0,{\sigma }^2=9)$
用均值为0， 方差为5来表示β1${\beta }_1$ , 则
β1${\beta }_1$ ~N(μ=0,σ2=5)$N(\mu =0,{\sigma }^2=5)$
如果我们对β$\beta$ 的许多值进行取样，我们会更加接近真正的正态分布，下图是两个正态分布图，从图中可以看出，β1${\beta }_1$ 比β0${\beta }_0$ 更加扁平（β1比β0${\beta }_1比{\beta }_0$ 接近0的比例较高）

一个好的先验概率P(θ)$P(\theta )$ 是很重要的，因为先验与后验越接近，我们就会更快的得到真正的后验。如果先验与后验分布一致，当我们从先验中取样时，实际上就是从后验中取样。

之后的内容在对贝叶斯(Bayes)线性回归的理解（二）中更新。。。