1.2中 高斯分佈基礎
高斯分佈是概率論中最常用的概率分佈之一，其概率密度函數如下
高斯分佈由兩個參數控制，其中 是均值，
是方差。
稱爲標準差，方差的倒數
稱爲精度。顯然高斯分佈滿足概率的以下兩個性質：
高斯分佈的期望爲
高斯分佈的二階矩爲
方差爲
設 是
維的向量，則其對應的多元高斯分佈的概率密度函數爲：
其中 是
維的均值向量，
是
的協方差矩陣，
表示
的行列式。
現在假設有一組觀測數據 ，每個
均爲
維向量。爲了確定高斯分佈的參數我們假定它們是獨立同分布地從同一個分佈產生的，於是這組數據的似然函數可以表示爲
頻率派最常用的參數估計方法是最大似然估計，其思想是通過最大化似然函數找到參數的估計。
⾼斯概率分佈的似然函數，由紅⾊曲線表⽰。這⾥，黑點表⽰數據集 的值，似然函數對應於藍⾊值的乘積。最大化似然函數涉及到調節⾼斯分佈的均值和⽅差，使得這個乘積最⼤。
由於對似然函數取對數不影響優化，我們可以得到對數似然函數：
關於 優化，得到其最大似然估計
注意到 的最大似然估計等價於樣本均值。關於
我們得到
注意到 的最大似然估計是有偏估計：
也就是說 低估了
，這種有偏性隨着樣本量增大而逐漸減輕。爲了無偏，很簡單的，我們得到修正的估計：
上述估計是無偏的。
當數據點的數量 增大時， 最⼤似然解的偏移會變得不太嚴重， 並且在
的情況下，⽅差的最大似然估計與產⽣數據的分佈的真實方差相等。
補充證明：
從貝葉斯角度看曲線擬合問題
我們已經看到，多項式曲線擬合的問題可以通過誤差最小化問題來表⽰。這⾥我們回到曲線擬合的問題，從概率的⾓度來考察它，可以更深刻地認識誤差函數和正則化，並且能夠讓我們完全從貝葉斯的角度來看待這個問題。
假設給定輸入變量 ，目標變量值
服從一個均值爲
的高斯分佈:
其中 爲高斯分佈的精度。 可以看到上述分佈的控制變量爲
和
。
我們進一步假設數據集 中的樣本點獨立同分布地從上述的高斯分佈產生。那麼爲了求得
的分佈，使用最大似然估計方法。該數據集的似然函數爲:
最大似然估計的目標是最大化對數似然函數：
通過取對數，我們得到對數似然函數：
我們不去最大化似然函數，等價地我們來最小化負對數似然函數。
上公式的最後兩項與 無關，因此我們可以丟掉它們。於是我們的目標變爲最小化
基於 不依賴於
且
的事實，我們可以任意放縮係數
。爲了後序處理的方便，我們將係數定爲
。最終，我們的目標函數定義如下:
發現這個函數就是1.1節中的平方和誤差函數。至此我們證明了在高斯分佈的假設下，最大化似然函數等價於最小化平方和誤差函數。接着，我們還要優化 :
由此可得
將 代回到本節開頭的概率密度式就得到了關於
的預測分佈：
如圖所示，給定 的條件下
的⾼斯條件概率分佈如下，其中均值爲多項式函數
，精度由參數
給出 :
接下來介紹一種更“貝葉斯”的方法，我們可以對參數 假設一個先驗，簡單起見假設其爲一個零均值，協方差爲對角陣的多元高斯（即其各個分量彼此不相關）：
其中 是高斯分佈的精度，也稱爲超參數；
是
中的參數個數。 根據貝葉斯公式，
的後驗概率正比於似然與先驗的乘積：
很顯然， 的後驗依賴於
和
，此時還需注意到
、
和
是
的共同祖先，因此
也依賴於
和
。
給定數據集，我們現在通過尋找最可能的 值（即最⼤化後驗概率）來確定
。將
和
的具體形式代入並取對數，通過最大化對數後驗分佈我們得到關於
的最大後驗估計（MAP, maximum a posteriori）：
其中 ，就是1.1節中的正則化係數。因此我們看到給定參數先驗、最大化後驗概率等價於最小化正則化的平⽅和誤差函數。