統計機器學習-多元高斯分佈

多元高斯分佈：

假設   $y^1,y^3,...,y^d$  分佈獨立，服從分佈 $N(0,1)$
聯合分佈 $y=(y^1,y^2,...,y^d)$ 服從分佈
$g(y)=\prod_{j=1}^d \frac{1}{\sqrt{2\pi}}e^{-\frac{(y^j)^2}{2}}=\frac{1}{(2\pi)^{\frac{d}{2}}}e^{-\frac{1}{2}y^Ty}$
$期望：E(y)=0 \ \ \ ；\ \ \ 方差：Var(y)=1$
做變化：$x=Ty+\mu$令：$\sum=TT^T$
$f(x)=g(y)|det(T)|^{-1} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (det指行列式)$
$=\frac{1}{(2\pi)^{\frac{d}{2}}(det\sum)^{\frac{1}{2}}}e^{[-\frac{1}{2}(x-\mu)^T\sum^{-1}(x-\mu)]}$
$期望：E(x)=TE(y)+\mu=\mu$$方差：Var(x)=Var(Ty+\mu)=TV(y)T^T=\sum$

條件高斯分佈與邊緣分佈：

如果兩組變量是聯合高斯分佈，那麼以⼀組變量爲條件，另⼀組變量同樣是高斯分佈。類似地，任何⼀個變量的邊緣分佈也是高斯分佈。
$x=\big(_{x_b}^{x_a}\big)$$\mu=\big(_{\mu_b}^{\mu_a}\big)$$\sum=\bigg(_{\sum_{ba}\ \ \ \sum_{bb}}^{\sum_{aa}\ \ \ \sum_{ab}}\bigg)$$\Lambda=(\sum)^{-1}$$\Lambda=\bigg(_{\Lambda_{ba} \ \ \ \Lambda_{bb}}^{\Lambda_{aa}\ \ \ \Lambda_{ab}}\bigg)$
條件分佈是高斯分佈：
$p(x_a|x_b)=N(x_a|\mu_{a|b},\Lambda_{aa}^{-1})$$\mu_{a|b}=\mu_a-\Lambda_{aa}^{-1}\Lambda_{ab}(x_b-\mu_b)$
邊緣分佈是高斯分佈：
$p(x_a)=N(x_a|\mu_a,(\sum)_{aa})$

極大似然估計：
$L=\frac{n}{2}logdet(\sum)^{-1}-\sum_{i=1}^n\frac{1}{2}(x_i-\mu)^T(\sum)^{-1}(x_i-\mu)$

多元高斯分佈可視化：

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import matplotlib as mpl

if __name__ == '__main__':
    mpl.rcParams['font.sans-serif'] = ['SimHei']
    mpl.rcParams['axes.unicode_minus'] = False

    d = np.random.randn(10000000, 2)
    N = 30
    density, edges = np.histogramdd(d, bins=[30, 30])
    print("樣本總數: ", np.sum(density))
    density = density/density.max()
    x = y = np.arange(N)
    t = np.meshgrid(x,y)
    fig = plt.figure()
    ax = Axes3D(fig)
    ax.scatter(t[0], t[1], density, c='r', s=15*density, marker='o', depthshade=True)
    ax.plot_surface(t[0], t[1], density, cmap='rainbow', rstride=1, cstride=1, alpha=0.9, lw=1)
    ax.set_xlabel("x軸")
    ax.set_ylabel("y軸")
    ax.set_zlabel("z軸")
    plt.title("二元高斯分佈")
    plt.tight_layout(0.1)
    plt.show()