邏輯迴歸和支持向量機之間的區別也是面試經常會問的一道題，特地找了一些相關資料看了下。
損失函數
原文地址：http://charlesx.top/2016/03/LR-SVM/
SVM的處理方法是隻考慮support vectors，也就是和分類最相關的少數點，去學習分類器。而邏輯迴歸通過非線性映射，大大減小了離分類平面較遠的點的權重，相對提升了與分類最相關的數據點的權重,兩者的根本目的都是一樣的。
不好意思啊，我不太懂你說的log loss是log likelihood嗎。我記得課上說logistic regression是用Maximum log Likelihood 來的.。
實質上，在這個問題裏面，對數損失和極大似然估計是等價的。
- 我們知道損失函數是用來衡量預測的錯誤程度，機器學習的基本策略就是使得經驗風險最小化，也就是模型在訓練上的損失最小，這是一種普適的思路。
- 而對於涉及到概率的問題，極大似然估計也是使得估計錯誤最小的一種思路，從數學推導上來看，LR的經驗風險就是極大似然估計取個對數加個負號而已。
這是兩種思維方式，但本質上是一樣的，損失函數這一套邏輯是機器學習的普適邏輯，而極大似然估計這套思想是來解決概率相關問題，如果對於迴歸問題，還怎麼用極大似然估計？(MSE,MAE)
1，優化目標不同。LR的目標函數是logloss，SVM是最大化分類面間距。2，對非線性問題的處理方式不同。LR主要靠特徵構造，必須組合交叉特徵，特徵離散化。SVM也可以這樣，還可以通過kernel。3，處理的數據規模不同。LR一般用來處理大規模的學習問題。如十億級別的樣本，億級別的特徵。
http://www.zhihu.com/question/24904422
合頁損失函數：《統計學習方法》
