2.3 The Gaussian Distribution
這一節，作者開始講述關於高斯分佈的推導，應用，侷限等一系列的相關知識。
作者一上來描述了一下高斯分佈應用的廣泛性，如熵的最大化和中心極限定理等。緊接着，作者便開始多維高斯分佈的推導。
首先，作者給出了多維高斯分佈的密度函數：
接下來，作者進行了三個方面的推導。1.密度函數的歸一化，2.期望，3.協方差。
歸一化：作者先是給出了馬氏距離，即去掉-1/2後的指數部分，定義如下：
然後利用協方差矩陣的實對稱性，通過特徵值和特徵向量等，把馬氏距離推導爲如下形式，過程不一一論述了，都是線性代數知識：
其中，yi定義如下：
這樣，注意到ui是正交的，我們就可以進行座標系的替換，將x座標替換爲y座標系。書中這樣一幅圖論證了座標替換的情形：
注意到新的y座標是沿着ui方向的，原點爲μ，當馬氏距離爲1時，馬氏距離推導爲y形式後的式子就構成了一個橢圓。但是書中的一句話一直不是特別明白：
當二次型即馬氏距離不變的時候，高斯分佈也爲常數。什麼意思？高斯分佈will be constant？什麼情況下二次型會是常數呢，在實際應用中會麼?好像後面的圖2.8等一些等高線也與此有關。
接下來，作者用雅克比行列式以及之前推出的結果，將多維高斯分佈推導成了D個單維高斯分佈的乘積，再用已知的單維高斯分佈的歸一化性質，可得到他們的乘積也是1，即多維高斯分佈的歸一化。
然後作者通過換元積分法，分別得到了期望和協方差(利用了多維高斯分佈的歸一性和奇函數性質)。
最後，作者論述了多維高斯模型的兩個缺陷。一是它的參數太多，是D的平方級(D即隨機變量的維度)，當然也可以通過對協方差矩陣進行限制來減少參數，但減小參數的同時也會限制模型對數據關係的捕捉。二是因爲無論單維或是多維高斯密度函數，都只有一個峯值，那麼對於那些多峯值的模型的擬合就產生了限制，後面介紹的mixtures of Gaussian會對限制進行一些改進。
2.3.1 Conditional Gaussian distributions
2.3.2 Marginal Gaussian distributions
一個關於多維高斯分佈的重要性質就是，假設兩部分隨機變量服從高斯聯合分佈，那麼一部分隨機變量以另一部分作爲條件時仍服從高斯分佈，並且兩部分隨機變量的邊緣分佈也是高斯分佈。這兩節內容就是對這一性質進行了推導，就不在這一一細說了。推導過程還有兩三處不太清楚，比如配方法爲什麼丟棄瞭如μAx的形式，且其它部分用const表示時，μAx等項也在const中，const並不獨立於x啊。歡迎大家指導或討論推導的其它問題，謝謝。