1. 損失函數和風險函數
損失函數度量模型一次預測的好壞，風險函數度量平均意義下模型預測的好壞。
常用的損失函數有以下幾種：
（1）0-1損失函數（0-1 loss function）
（2）平方損失函數（quadratic loss function）
（3）絕對損失函數（absolute loss function）
（4）對數損失函數（logarithmic loss function）或對數似然損失函數（log-likelihood loss function）
損失函數值越小，模型就越好。由於模型的輸入輸出
![{R_{\exp }}\left( f \right) = {E_p}\left[ {L\left( {Y,f\left( X \right)} \right)} \right] = \int {L\left( {y,f\left( x \right)} \right)} P\left( {x,y} \right)dxdy](https://pic1.xuehuaimg.com/proxy/csdn/https://private.codecogs.com/gif.latex?%7BR_%7B%5Cexp%20%7D%7D%5Cleft%28%20f%20%5Cright%29%20%3D%20%7BE_p%7D%5Cleft%5B%20%7BL%5Cleft%28%20%7BY%2Cf%5Cleft%28%20X%20%5Cright%29%7D%20%5Cright%29%7D%20%5Cright%5D%20%3D%20%5Cint%20%7BL%5Cleft%28%20%7By%2Cf%5Cleft%28%20x%20%5Cright%29%7D%20%5Cright%29%7D%20P%5Cleft%28%20%7Bx%2Cy%7D%20%5Cright%29dxdy)
這是理論上模型
然而，聯合分佈
根據大數定律，當樣本容量
2. 經驗風險最小化與結構風險最小化
2.1 經驗風險最小化（empirical risk minimization,ERM）
經驗風險最小化的策略認爲，經驗風險最小的模型是最優的模型：
當樣本容量足夠大時，經驗風險最小化能保證有很好的學習效果。比如，極大似然估計（就是經驗風險最小化的一個例子，當模型是條件概率分佈，損失函數是對數損失函數時，經驗風險最小化就等價於極大似然估計。
但當樣本容量很小時，經驗風險最小化容易導致“過擬合”。
2.2 結構風險最小化
結構風險最小化（structural minimization, SRM）是爲了防止過擬合提出的策略。結構風險最小化等價於正則化（regularization）。結構風險在經驗風險上加上表示模型複雜度的正則化項（regularizer）或罰項（penalty term）。結構風險的定義是：
其中
結構風險最小化的策略認爲結構風險最小的模型是最優模型：
![\mathop {\min }\limits_{f \in F} \left[ {\frac{1}{N}\sum\limits_{i = 1}^N {L\left( {{y_i},f\left( {{x_i}} \right)} \right)} + \lambda J\left( f \right)} \right]](https://pic1.xuehuaimg.com/proxy/csdn/https://private.codecogs.com/gif.latex?%5Cmathop%20%7B%5Cmin%20%7D%5Climits_%7Bf%20%5Cin%20F%7D%20%5Cleft%5B%20%7B%5Cfrac%7B1%7D%7BN%7D%5Csum%5Climits_%7Bi%20%3D%201%7D%5EN%20%7BL%5Cleft%28%20%7B%7By_i%7D%2Cf%5Cleft%28%20%7B%7Bx_i%7D%7D%20%5Cright%29%7D%20%5Cright%29%7D%20+%20%5Clambda%20J%5Cleft%28%20f%20%5Cright%29%7D%20%5Cright%5D)
結構風險小需要經驗風險和模型複雜度同時都小，結構風險小的模型往往對訓練數據以及未知的測試數據都有較好的預測。
比如，貝葉斯估計中的最大後驗概率估計（maximum posterior probability estimation,MAP）就是結構風險最小化的一個例子，當模型是條件概率分佈、損失函數是對數損失函數、模型複雜度由模型的先驗概率表示時，結構風險最小化就等價於最大後驗概率估計。
參考文獻：
1. 《統計學習方法》第一章統計學習方法概論——李航