機器學習(西瓜書)8.3式證明

書上列出了這個式子,但是沒有給出詳細的證明
在這裏插入圖片描述
根據書上的提示,找到Hoeffding的定義
對於二項分佈,有如下定義:
假設爲拋硬幣的情況,每次正面朝上的概率設爲p,拋n次硬幣,正面朝上次數不超過k次的概率爲:
在這裏插入圖片描述對於ε > 0,當k = (p − ε)n時,以下不等式成立(Hoeffding不等式)
在這裏插入圖片描述
回到8.3式中
在這裏插入圖片描述
等價於T個基分類器中,最多有T/2個分類器分類正確。這樣整體分類就錯誤了
8.3式等價於
在這裏插入圖片描述
我們對上式應用Hoeffding不等式,有:
在這裏插入圖片描述
注意上式子中的p,epsilon和n和書上的符號表達不一樣,所以按書上符號做下替換,
在這裏插入圖片描述
在這裏插入圖片描述
同理,右側式子也替換符號,這裏就不碼了。其中在這裏插入圖片描述
是未知數,求解左邊等式,將值代入Hoeffding不等式右式即可得到8.3式的不等式

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章