邏輯迴歸和支持向量機之間的區別也是面試經常會問的一道題,特地找了一些相關資料看了下。
損失函數
原文地址:http://charlesx.top/2016/03/LR-SVM/
SVM的處理方法是隻考慮support vectors,也就是和分類最相關的少數點,去學習分類器。而邏輯迴歸通過非線性映射,大大減小了離分類平面較遠的點的權重,相對提升了與分類最相關的數據點的權重,兩者的根本目的都是一樣的。
不好意思啊,我不太懂你說的log loss是log likelihood嗎。我記得課上說logistic regression是用Maximum log Likelihood 來的.。
實質上,在這個問題裏面,對數損失和極大似然估計是等價的。
- 我們知道損失函數是用來衡量預測的錯誤程度,機器學習的基本策略就是使得經驗風險最小化,也就是模型在訓練上的損失最小,這是一種普適的思路。
- 而對於涉及到概率的問題,極大似然估計也是使得估計錯誤最小的一種思路,從數學推導上來看,LR的經驗風險就是極大似然估計取個對數加個負號而已。
這是兩種思維方式,但本質上是一樣的,損失函數這一套邏輯是機器學習的普適邏輯,而極大似然估計這套思想是來解決概率相關問題,如果對於迴歸問題,還怎麼用極大似然估計?(MSE,MAE)
1,優化目標不同。LR的目標函數是logloss,SVM是最大化分類面間距。2,對非線性問題的處理方式不同。LR主要靠特徵構造,必須組合交叉特徵,特徵離散化。SVM也可以這樣,還可以通過kernel。3,處理的數據規模不同。LR一般用來處理大規模的學習問題。如十億級別的樣本,億級別的特徵。
http://www.zhihu.com/question/24904422
合頁損失函數:《統計學習方法》