2.3 The Gaussian Distribution
这一节，作者开始讲述关于高斯分布的推导，应用，局限等一系列的相关知识。
作者一上来描述了一下高斯分布应用的广泛性，如熵的最大化和中心极限定理等。紧接着，作者便开始多维高斯分布的推导。
首先，作者给出了多维高斯分布的密度函数：
接下来，作者进行了三个方面的推导。1.密度函数的归一化，2.期望，3.协方差。
归一化：作者先是给出了马氏距离，即去掉-1/2后的指数部分，定义如下：
然后利用协方差矩阵的实对称性，通过特征值和特征向量等，把马氏距离推导为如下形式，过程不一一论述了，都是线性代数知识：
其中，yi定义如下：
这样，注意到ui是正交的，我们就可以进行座标系的替换，将x座标替换为y座标系。书中这样一幅图论证了座标替换的情形：
注意到新的y座标是沿着ui方向的，原点为μ，当马氏距离为1时，马氏距离推导为y形式后的式子就构成了一个椭圆。但是书中的一句话一直不是特别明白：
当二次型即马氏距离不变的时候，高斯分布也为常数。什么意思？高斯分布will be constant？什么情况下二次型会是常数呢，在实际应用中会么?好像后面的图2.8等一些等高线也与此有关。
接下来，作者用雅克比行列式以及之前推出的结果，将多维高斯分布推导成了D个单维高斯分布的乘积，再用已知的单维高斯分布的归一化性质，可得到他们的乘积也是1，即多维高斯分布的归一化。
然后作者通过换元积分法，分别得到了期望和协方差(利用了多维高斯分布的归一性和奇函数性质)。
最后，作者论述了多维高斯模型的两个缺陷。一是它的参数太多，是D的平方级(D即随机变量的维度)，当然也可以通过对协方差矩阵进行限制来减少参数，但减小参数的同时也会限制模型对数据关系的捕捉。二是因为无论单维或是多维高斯密度函数，都只有一个峰值，那么对于那些多峰值的模型的拟合就产生了限制，后面介绍的mixtures of Gaussian会对限制进行一些改进。
2.3.1 Conditional Gaussian distributions
2.3.2 Marginal Gaussian distributions
一个关于多维高斯分布的重要性质就是，假设两部分随机变量服从高斯联合分布，那么一部分随机变量以另一部分作为条件时仍服从高斯分布，并且两部分随机变量的边缘分布也是高斯分布。这两节内容就是对这一性质进行了推导，就不在这一一细说了。推导过程还有两三处不太清楚，比如配方法为什么丢弃了如μAx的形式，且其它部分用const表示时，μAx等项也在const中，const并不独立于x啊。欢迎大家指导或讨论推导的其它问题，谢谢。