李航 統計學習方法 第一章 習題 參考答案

1.1說明伯努利模型的極大似然估計以及被壓死估計中的統計學習方法三要素。

統計學習三要素：模型、策略和算法。

伯努利模型的極大似然估計

	模型	策略	算法
極大似然估計	條件概率	經驗風險最小化	求解析解
貝葉斯估計	條件概率	結構風險最小化	求數值解

伯努利模型是定義在取值爲0和1的隨機變量上的概率分佈。

極大似然估計：

似然函數的對數：

其中，n爲實驗次數，k爲n次實驗中結果爲1的次數，Yi表示第i次實驗的結果。

令對數似然的導數爲0可以直接求出解析解：

貝葉斯估計：

根據先驗概率和估計後驗概率，使後驗概率最大化。

 

1.2證明：模型是條件概率分佈，當損失函數是對數損失時，經驗風險最小化等價於極大似然估計。

首先需要理解幾個概念，條件概率分佈，對數損失，經驗風險和極大似然估計。

模型是條件概率分佈，說明預測值：

對數損失的定義爲：

此時，經驗風險R爲：

 

所以，最小化經驗風險R，相當於最大化似然估計