SVM的损失函数
hinge loss。
逻辑回归不能解决什么问题
逻辑回归虽然用到了sigmoid函数,看起来是非线性的,但是其实还是一个线性分类器。所以解决问题的时候要求自变量和因变量之间存在线性关系。
LR损失函数是什么,LR的梯度是如何表示的
- LR是logistic regression
- 损失函数是cross entropy
- 梯度就求个导数就行了,结果和Linear regression的均方差的梯度完全一样!第一次算到这里的时候才真正意识到,回归问题的均方差就是分类问题的交叉熵。
LR为什么用log损失而不是均方误差损失(最小二乘)
算一下就知道原因了,梯度会在不该等于0的时候等于0
L1范数会产生什么问题
L1范数是向量中各元素绝对值的和。倾向于让特征权重为0,实现稀疏;
L2范数会产生什么问题
L2范数是向量中各个元素的平方和的平方根。虽然也会减小特征权重的值,但是并不会为0,而是保持在一个比较小的数值。L2可以缓解特征之间的多重共线性。
为什么不用L0
L0是非零参数的个数,不可导,会变成NP难题。可以使用L1来代替。