前向分步算法

  机器学习很多时候都是假设空间寻找一个函数使得

fθ(X):X→Y,θ∈Rn(1)

式中X、Y 分别表示输入空间(或特征空间)和输出空间，Rn 表示参数空间。
  但是，往往我们找到的函数，在测试集上未必可以表现出好的效果，泛化能力不见得强，如果我们可以构造一系列的弱学习器，将其线性组合起来，或许可以得到很强的泛化能力。这个想法被称作加法模型，表示如下：

f(x)=∑m=1Mβmb(x;γm)(2)

式中βm 是基函数b(x;γm) 的系数。
  给定训练集和损失函数时，训练过程对应的优化问题可以表示为

minf∑i=1NL[yi,f(xi)]=min(βm,γm)∑i=1NL[yi,∑Mm=1βmb(xi;γm)](3)

通常这是一个复杂的优化问题，因为模型是加法模型，考虑分治算法思想，将其分割为一系列的子问题去求解，将减小优化的复杂度；具体地，从前往后，每一步学习一个基函数及其系数：

min(β,γ)∑i=1NL[yi,βb(x;γ)](4)

逐步地使得minf∑i=1NL(yi,f(xi)) 减小，直到最后逼近0，即达到优化目的，这便是前向分步算法的思想。