前向分步算法

  機器學習很多時候都是假設空間尋找一個函數使得

fθ(X):X→Y,θ∈Rn(1)

式中X、Y 分別表示輸入空間(或特徵空間)和輸出空間，Rn 表示參數空間。
  但是，往往我們找到的函數，在測試集上未必可以表現出好的效果，泛化能力不見得強，如果我們可以構造一系列的弱學習器，將其線性組合起來，或許可以得到很強的泛化能力。這個想法被稱作加法模型，表示如下：

f(x)=∑m=1Mβmb(x;γm)(2)

式中βm 是基函數b(x;γm) 的係數。
  給定訓練集和損失函數時，訓練過程對應的優化問題可以表示爲

minf∑i=1NL[yi,f(xi)]=min(βm,γm)∑i=1NL[yi,∑Mm=1βmb(xi;γm)](3)

通常這是一個複雜的優化問題，因爲模型是加法模型，考慮分治算法思想，將其分割爲一系列的子問題去求解，將減小優化的複雜度；具體地，從前往後，每一步學習一個基函數及其係數：

min(β,γ)∑i=1NL[yi,βb(x;γ)](4)

逐步地使得minf∑i=1NL(yi,f(xi)) 減小，直到最後逼近0，即達到優化目的，這便是前向分步算法的思想。