結構風險最小化(Structural Risk Minimization, SRM)

1、定義

  統計學習理論提出了一種新的策略,即把函數集構造爲一個函數子集序列,使各個子集按照VC維的大小排列;在每個子集中尋找最小經驗風險,在子集間折衷考慮經驗風險和置信範圍,取得實際風險的最小。這種思想稱作結構風險最小化(Structural Risk Minimization),即SRM準則。

 

2、經驗風險與真實風險的關係

  統計學習理論系統地研究了對於各種類型的函數集,經驗風險和實際風險之間的關係。得出如下結論:對指示函數集中的所有函數(包括使經驗風險最小的函數), 經驗風險 和實際風險 之間以至少 的概率滿足如下關係:

                                             R(w) \leq R_{\text { owp }}(w)+\sqrt{\frac{h(\ln (2 n / h)+1)-\ln (\eta / 4)}{n}}

  其中h是函數集的VC維,n是樣本數.

  這一結論從理論上說明了學習機器的實際風險是由兩部分組成的:一是經驗風險(訓練誤差),另一部分稱作置信範圍,它和學習機器的VC維及訓練樣本數有關。 

  上式可以簡單地表示爲:

                                                           R(w) \leq R_{e m p}(w)+\phi(h / n)

  它表明,在有限訓練樣本下,學習機器的VC維(h)越高(複雜性越高)則置信範圍越大,導致真實風險與經驗風險之間可能的差別越大.這就是爲什麼會出現過學習現象的原因.機器學習過程不但要使經驗風險最小,還要使VC維儘量小以縮小置信範圍,才能取得較小的實際風險,即對未來樣本有較好的推廣性.      

 

3、結構風險最小化(SRM)的基本思想

  傳統機器學習方法中普遍採用的經驗風險最小化原則在樣本數目有限時是不合理的, 會出現過學習現象(訓練誤差小並不總能導致好的預測效果.某些情況下,訓練誤差過小反而會導致推廣能力的下降,即真實風險的增加,這就是過學習問題), 因此,需要同時最小化經驗風險和置信範圍。

  爲此,統計學習理論提出了一種新的策略,即把函數集構造爲一個函數子集序列,使各個子集按照VC維的大小排列;在每個子集中尋找最小經驗風險,在子集間折衷考慮經驗風險和置信範圍,取得實際風險的最小。這種思想稱作結構風險最小化(Structural Risk Minimization),即SRM準則。  

 

 

4、實現思路

  實現SRM的思路之一就是設計函數集的某種結構使每個子集中都能取得最小的經驗風險(如使訓練誤差爲0),然後只需選擇適當的子集使置信範圍最小,則這個子集中使經驗風險最小的函數就是最優函數。SVM方法實際上就是這種思想的具體實現。

  實現SRM另一種思路是在每個子集中求最小經驗風險,然後選擇使最小經驗風險和置信範圍之和最小的子集.顯然這種方法比較費時,當子集數目很大甚至是無窮時不可行.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章