機器學習(十六)——多元正態分佈(The multivariate normal distribution)

原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf

n維的多元正態分佈,也稱爲多元高斯分佈,是用均值向量和協方差矩陣參數化的,其中Σ≥0是對稱的和正半定的。也被寫作,它的密度函數爲


在上面的方程中,“|Σ|”表示矩陣Σ的行列式。

對於一個隨機變量X分佈的,均值是


向量值隨機變量Z的協方差定義爲。這是一個實值隨機變量方差的概念.協方差也可以定義爲。(你應該能夠證明這兩個定義是等價的。) 如果,那麼


以下是高斯分佈的密度的一些示例:


最左邊的圖表示均值爲零(即2x1零向量)和協方差矩陣Σ=i(2x2恆等矩陣)的高斯分佈。具有零均值和恆等協方差的高斯也稱爲標準正態分佈。中間圖爲零均值高斯密度,Σ=0.6I。在最右邊的圖中,Σ=2I。我們看到,隨着Σ變大,高斯變得更“分散”,當它變得更小,分佈變得更“壓縮”。

讓我們來看看更多的例子。


以上數字分別表示均值爲0的高斯矩陣和協方差矩陣。


最左邊的圖顯示了熟悉的標準正態分佈,我們發現,我們看到當我們在Σ中增加非對角線條目時,密度變得更“壓縮”到45度線。當我們看同樣三種密度的等值線時,我們可以更清楚地看到這一點:


下面是由可變Σ生成的最後一組示例:


對應的:


從最左邊和中間的數字,我們看到,通過減少協方差矩陣的對角線元素,密度現在又變得“壓縮”,但在相反的方向。最後,隨着參數的變化,更一般的等高線將形成橢圓。

作爲最後一組示例,修復Σ=I,通過改變變量,我們也可以移動密度的均值。


上面的數字是使用Σ=I生成的,並且分別




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章