優化損失函數中的經驗風險與結構風險

經驗風險最小化：

• 在求解模型時，優化目標僅僅包含對樣本的估計的損失函數最小化，但對於使損失函數最小化過程中導致的模型複雜度提高沒有進行控制。
  minf∈F1N∑i=1NL(yi,f(xi))$$\underset{f\in F}{min}\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$

經驗風險最小化的缺點：

• 學習出來的模型容易過擬合，對訓練集上的樣本有很好的擬合能力，但是對未知樣本的擬合效果非常差。

結構風險最小化：

• 在求解模型時，優化目標(目標函數)不僅包含對樣本估計的損失函數最小化，同時對模型本身的複雜度進行控制。
  Rsrm=1N∑i=1NL(yi,f(xi))+λJ(f)$$R_{srm}=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)$$

結構風險最小化的優點：

• 學習出來的模型不僅僅對訓練集上的樣本具有較好的擬合能力，並且對未知樣本擬合效果也較好。也就是說，基於結構風險最小化目標函數訓練出來的模型具有很好的泛化能力。