Hinge损失函数
函数被称为损失函数(如下图所示)。当 时,函数等于 。
,导数(斜率)等于-1;
,导数(斜率)为0;
,函数不可导。
但是,在t=0处可以使用任意次导数(即-1到0之间的任意值),你还是可以使用梯度下降,就跟回归一样。
函数max(0,1−t)被称为hinge损失函数(如下图所示)。当 t≥1 时,函数等于 0。
t<1,导数(斜率)等于-1;
t>1,导数(斜率)为0;
t=1,函数不可导。
但是,在t=0处可以使用任意次导数(即-1到0之间的任意值),你还是可以使用梯度下降,就跟Lasso回归一样。