adaboost的計算步驟

w_i^1 :第1個分類器的第 i 個樣本的權重,初始樣本的權重對第一個分類器都是 \frac{1}{N}

\epsilon  : 錯誤率,即分類錯誤概率的求和(預測值不等於真實值) \epsilon = \sum _{y_i\neq h_i(x)} \frac{1}{N} 

a^t :分類器的權重,通過第二部的公式,\epsilon  其取值範圍爲 0 到 1 , a^t 的取值範圍是 -1 到 1

1. 初始化 w_i^1 = \frac{1}{N} ;

2. 在第 t 步, 選擇可以最小化當前錯誤率 \epsilon 的弱分類器(也就是說,通過劃分特徵,一個個去分類,統計得到劃分各個特徵的錯誤率,然後選擇錯誤率最低是分類器,這步主要是通過錯誤率 \epsilon 選擇好的劃分特徵),並添加這個弱分類器, 以降低錯誤率(如果有弱分類器,那就創建一個),並計算 a^{t} , a^{t} = \frac{1}{2}log(\frac{1 - \epsilon^{t} }{\epsilon ^{t}}), 因爲 w_i^t  是第i個樣本的權重,全部樣本相加得到第t個分類器的錯誤率,所以樣本權重高的決定了這個分類器的權重。定義新的弱分類器爲

 f^{t}(x) = a^{t}h^{t}(x)

3. 計算新的數據樣本權重  w_{i}^{t+1}       , w_i^{t+1} = \left\{\begin{matrix} \frac{1}{Z}w_i^te^{-a^t}\rightarrow y_i = h^t(x_i)\\ \frac{1}{Z}w_i^te^{a^t}\rightarrow y_i \neq h^t(x_i)\end{matrix}\right.    如果真實值等於預測值,則權重減少,如果真實值不等於預測值,則權重增加(更加關注分類錯誤的樣本,降低關注分類正確的樣本)

4. 回到第2,直到收斂

5. 得到的模型爲:H(x) = sign(\sum _{t=1}^{T}a^{t}h^{t}(x))

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章