adaboost原理和計算過程

AdaBoost算法是基於Boosting思想的機器學習算法，AdaBoost是adaptive boosting（自適應boosting）的縮寫，其運行過程如下：

1) 計算樣本權重

{(x1,y1),(x2,y2),...,(xn,yn)}$\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}$ 設定每個樣本的權重都是相等的，即1n$\frac{1}{n}$

2) 計算錯誤率

利用第一個弱學習算法h1$h_1$ 對其進行學習，學習完成後進行錯誤率ε的統計：

ε=爲正確分類的樣本數所有樣本數目$\epsilon =\frac{爲正確分類的樣本數}{所有樣本數目}$

3) 計算弱學習算法權重

弱學習算法也有一個權重，用向量 α$\alpha$ 表示，利用錯誤率計算權重 α$\alpha$ ：

α=12 ln(1−εε)$\alpha =\frac{1}{2}ln(\frac{1-\epsilon }{\epsilon })$

4) 更新樣本權重

在第一次學習完成後，需要重新調整樣本的權重，以使得在第一分類中被錯分的樣本的權重，在接下來的學習中可以重點對其進行學習：

Dt+1(i)=Dt(i)Zt∗{e−αtif ht(xi) = yie αtif ht(xi) ≠ yi$D_{t+1}(i)=\frac{D_t(i)}{Z_t}\ast \{\frac{e^{-{\alpha }_t}if{h}_t(x_i)=y_i}{e^{{\alpha }_t}if{h}_t(x_i)\ne y_i}$

其中，ht(xi)=yi$h_t(x_i)=y_i$ 表示對第i$i$ 個樣本訓練正確，不等於則表示分類錯誤。Zt$Z_t$ 是一個歸一化因子：

Zt=sum(D)$Z_t=sum(D)$

這個公式我們可以繼續化簡，將兩個公式進行合併，化簡如下：

H(x)=sign(∑Tt=1αtht(x))$H(x)=sign(\sum _{t=1}^T{\alpha }_t{h}_t(x))$
其中sign(x)$sign(x)$ 是符號函數。

5) AdaBoost算法