周志華《機器學習》 學習筆記
最近開始學習機器學習，參考書籍西瓜書，做點筆記。
第十二章 計算學習理論
學習時結合http://www.dataguru.cn/article-11253-1.html方便理解；
12.1 基礎知識
泛化誤差：學習器在新樣本上的誤差，
經驗誤差：學習器在訓練集上的誤差，
Jensen不等式：
Hoeffding不等式：
12.2 PAC學習
概念：從樣本空間到標記空間的映射；
若果樣例的映射等於真實標記，則稱爲目標概念；
目標概念所構成的集合稱爲概念類；
已較大概率學的誤差滿足預設上限的模型，即概率近似正確的含義；
PAC辨識：
PAC可學習；存在學習算法和多項式函數ploy，使得對於任何
12.3 有限假設空間
12.4 VC維
12.3和12.4參考上面鏈接，那裏比書上講的更形象；
12.5 Rademacher複雜度
這一節主要看看概念和公式即可，推導做了解；
12.6 穩定性
穩定性考察的時算法在輸入發生變化時，輸出是否會隨之發生較大的變化；
對任何樣輸入中的樣本，若學習算法滿足：
對損失函數l，若學習算法所輸出的假設滿足經驗損失最小化，則稱算法滿足經驗風險最小化原則，簡稱算法ERM；
若學習算法是ERM且穩定的，則假設空間H可學習；
穩定性與假設空間通過損失函數l聯繫起來；
第十二章筆記寫的相當少，主要還是參考上面的連接裏面的內容，感覺那裏比書上講的更形象一些，這一章我作爲了解看一下，有一個大致的輪廓即可。其中VC維和Rademacher複雜度較難理解，多花了點時間。這次筆記感覺做的很不好，以後改進。
我的筆記做的比較粗糙，還請見諒。