VC維

簡單通俗的說。

VC維是模型的複雜程度,模型假設空間越大,VC維越高。
shatter和break point是VC維理論中的概念。shatter是指模型假設把數據打碎了,也就是區分開了。而break point是指當模型複雜度變的足夠高了後,可以把數據打的足夠散的一個數學臨界點。

更重要的是,VC維的實踐意義是給機器學習可學性提供了理論支撐。
1. 測試集合的loss是否和訓練集合的loss接近?VC維越小,理論越接近。
2. 訓練集合的loss是否足夠小?VC維越大,loss理論越小。

一般工業實踐中通過引入正則對模型複雜度(VC維)進行控制,平衡這兩個問題的矛盾。

如果想深入理解,推薦看看騰訊廣點通團隊的這個技術博客:VC維的來龍去脈 | 火光搖曳 。 個人認爲總結的很好。

作者:趙印
鏈接:https://www.zhihu.com/question/38607822/answer/151561258
來源:知乎
著作權歸作者所有。商業轉載請聯繫作者獲得授權,非商業轉載請註明出處。

當然我認爲有幾點需要修改,模型複雜度和模型表達能力無關,所以應該改成模型的capability表達能力越強VC維越大。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章