共轭先验的概念和优势——CVMLI Prince读书随笔第4章

什么是共轭性

一个分布$P$是另一个分布$Q$的共轭，则这两个分布相乘，分布形式与$P$相同（同族）。

共轭先验与贝叶斯方法

对于已有数据集$\mathbf x$，记似然估计为$P_1(\bf x|\lambda)$，其中$\lambda$是参数，先验分布为$P_2(\lambda;\theta)$，其中$\theta$是参数先验分布的已知有关参数。

则参数的后验分布可以写为
$P(\lambda| \mathbf{x}; \theta) = \frac{P_1(\mathbf x|\lambda)P_2(\lambda;\theta)}{P(\bf x)}$

如果$P_2$是$P_1$的共轭分布，则
$P_1(\mathbf x|\lambda)P_2(\lambda;\theta) = \kappa (\mathbf x, \theta) P_2(\lambda; \tilde \theta)$

其中$\kappa(\mathbf x, \theta)$是一个$\lambda$无关的常数，$P_2(\lambda; \tilde \theta)$与$P_2(\lambda; \theta)$有同样的形式。
由于概率对$\lambda$积分为1，所以$\kappa(\mathbf x, \theta) =P(\mathbf x)$，即$P(\lambda| \mathbf x; \theta)=P_2(\lambda; \tilde \theta)$

共轭分布的优势一

• 共轭先验的好处在于保证了后验分布是一个已知形式的闭式解。
• 只要能把$P_2$的参数辨识出来，系数就可以不用在乎。例如先验分布为高斯分布，且是数据分布的共轭分布。那么只需把后验分布的均值和方差通过指数项系数辨识出来。不用在乎常数项。

贝叶斯密度预测

在给定数据集$\mathbf x$后，$x^*$处的密度概率为
$\begin{aligned} P(x^*| \mathbf x) &= \int P_1(x^* | \lambda)P(\lambda|\mathbf x; \theta)d\lambda \\ &=\int P_1(x^*|\lambda)P_2(\lambda; \tilde \theta)d\lambda \\ &= \int \kappa(x^*, \tilde \theta)P_2(\lambda; \breve \theta) d\lambda \\ &= \kappa(x^*, \tilde \theta) \end{aligned}$

共轭分布的优势二

贝叶斯的密度预测结果表达式居然是$\kappa(x^*, \tilde \theta)$，是一个形式简单的闭式解！

总结

对于共轭先验，只要把
$P_1(\mathbf x|\lambda)P_2(\lambda;\theta) = \kappa (\mathbf x, \theta) P_2(\lambda; \tilde \theta)$
当中的$\kappa (\mathbf x, \theta)$和$\tilde \theta (\mathbf x, \theta)$的表达式搞清楚，就能直接得到贝叶斯参数估计和密度估计的结果。

常见的似然与共轭

似然函数（数据分布）	共轭先验
Bernoulli分布	Beta分布
多类分布	Dirichlet分布
高斯分布	高斯分布（方差已知）
一维高斯分布	逆Gamma分布（均值已知）
一维高斯分布	正态逆Gamma分布
高维高斯分布	逆Wishart分布（均值已知）
高维高斯分布	正态逆Wishart分布

参考文献：
[1] Prince S J D. Computer vision: models, learning, and inference[M]. Cambridge University Press, 2012. 50-64.