統計學習第一章習題

1.1通過極大似然估計或貝葉斯估計來估計結果爲1的概率
解：
極大似然估計：
對於伯努利模型，假設P(x=1)=θ$P(x=1)=\theta$ ,於是我們可以得到它的條件分佈爲P(x|θ)=θx(1−θ)1−x$P(x|\theta )={\theta }^x(1-\theta {)}^{1-x}$ 。於是我們得到似然函數

L(θ)=∏i=1nP(xi)=∏i=1nθxi(1−θ)1−xi$$\begin{array}{rl}L(\theta )& =\prod _{i=1}^{n}P(x_i)\\ & =\prod _{i=1}^n{\theta }^{x_i}(1-\theta {)}^{1-x_i}\end{array}$$

令∂L(θ)∂θ=0$\frac{\mathrm{\partial }L(\theta )}{\mathrm{\partial }\theta }=0$ ,我們就可以得到θ=kn$\theta =\frac{k}{n}$ 。也就是在這個值下面似然函數取的最大值，於是結果爲1的概率就是kn$\frac{k}{n}$ 。

1.2問題：通過經驗風險最小化推導極大似然估計：證明模型是條件概率分佈，當損失函數是對數損失函數時，經驗風險最小化等價於極大似然估計。

解：
如果模型是條件概率分佈的話，表示爲Pθ(Y|X)$P_{\theta }(Y|X)$ .
當損失函數是對數損失函數時：L(Y,P(Y|X))=−log(P(Y|X))$L(Y,P(Y|X))=-log(P(Y|X))$
經驗風險爲：

Remp(f)=1N∑i=1NL(yi,f(xi))=1N∑i=1N−log(p(yi|xi))=−1N∑i=1Nlog(p(yi|xi))$$\begin{array}{rl}{R}_{emp}(f)& =\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))\\ & =\frac{1}{N}\sum _{i=1}^N-log(p(y_i|x_i))\\ & =-\frac{1}{N}\sum _{i=1}^{N}log(p(y_i|x_i))\end{array}$$

根據上面的公式我們可以得到經驗風險最小化，等價於極大似然估計。