樸素貝葉斯（公式推導證明）

貝葉斯 Treatment

• 最大後驗估計 Maximum a Posterior Estimate(MAP)
  參數的先驗：
  $p_0(q_{0j}|\alpha_1, \alpha_2) = Beta(\alpha_1, \alpha_2) =\frac{\Gamma(\alpha_1 + \alpha_2)}{\Gamma(\alpha_1)\Gamma(\alpha_2)}q_{0j}^{\alpha_1-1}(1-q_{0j}^{\alpha_2-1})$

$\alpha_0=1$並且$\alpha_1=1$上面的分佈是均勻分佈。

$\hat{q} = arg \underset{q}{max} log p(q|{X_i,y_i}) = arg \underset{q}{max}(logp_0(q) + logp({X_i, y_i|q}))$
使用拉格朗日算子求上面式子的偏導數
$\hat{q_{0j}}=\frac{N_0^j+\alpha_1-1}{N_0+\alpha_1 + \alpha_2-2}$
$\hat{q_{1j}}=\frac{N_1^j+\alpha_1-1}{N_1+\alpha_1 + \alpha_2-2}$

對於連續的$X_i$進行分類，例如圖像的像素，如何使用貝葉斯估計呢，我們可以使用GBN（高斯貝葉斯估計），假設$X_i$的方差是一樣的。
$P(X_i|Y=y)=N(\mu_{iy},\sigma_i^2)$
分類邊界：(兩類的概率是相等的)
$log\frac{\prod_{i=1}^{d}P(X_i|Y=0)}{\prod_{i=1}^{d}P(X_i|Y=1)}=0$
得到
$log\frac{1-\pi}{\pi} + \sum_{i} \frac{\mu_{i1}^2-\mu_{i0}^2}{2\sigma^2_{i}} + \sum_{i} \frac{\mu_{i1}-\mu_{i0}}{\sigma^2_{i}}x_i=0$等價於
線性分類邊界$w_0 + \sum_iw_ix_i=0$
但是當$\sigma_1 \neq \sigma_2$ 不是線性的分類邊界，是非線性的分類邊界。

理解GNB的假設
$p(y=1|x,\mu,\sum,\pi) = \frac{p(y=1,x|\mu, \sum, \pi)}{p(x|\mu,\sum,\pi)}$
在貝葉斯估計前提下
$p(y=1|x,\mu,\sum,\pi) = \frac{1}{1+\frac{p(y=0,x|\mu,\sum,\pi)}{p(y=1,x|\mu,\sum,\pi)}}=\frac{1}{1+\frac{(1-\pi)\prod_iN(x_i|\mu_{i0},\sigma_i^2)}{\pi\prod_iN(x_i|\mu_{i1},\sigma_i^2)}} = \frac{1}{1+exp(-w^Tx-w_0)}$

sigmoid函數是 $\frac{1}{1+exp(-x)}$
其實就是線性函數然後sigmoid函數，多分類可以加softmax 函數。

上面的是生成式的分類，得到$\hat{y} = argmaxp(X,Y=y)/p(X)$
p(X)可以省略。學習x的分佈，定義的是x,y的聯合分佈。
但是可以直接學習$\hat{y}=\underset{y}{argmax}P(Y=y|X)$得到判別式分類，直接從數據學習P(Y|X)，沒有P(X)的學習。SVM是判別式的方法。