邏輯迴歸和支持向量機有什麼不同

邏輯迴歸和支持向量機之間的區別也是面試經常會問的一道題,特地找了一些相關資料看了下。

這裏寫圖片描述

損失函數 
這裏寫圖片描述

這裏寫圖片描述

原文地址:http://charlesx.top/2016/03/LR-SVM/


                SVM的處理方法是隻考慮support vectors,也就是和分類最相關的少數點,去學習分類器。而邏輯迴歸通過非線性映射,大大減小了離分類平面較遠的點的權重,相對提升了與分類最相關的數據點的權重,兩者的根本目的都是一樣的。


                                                                                        


不好意思啊,我不太懂你說的log loss是log likelihood嗎。我記得課上說logistic regression是用Maximum log Likelihood 來的.。

實質上,在這個問題裏面,對數損失和極大似然估計是等價的。

  1. 我們知道損失函數是用來衡量預測的錯誤程度,機器學習的基本策略就是使得經驗風險最小化,也就是模型在訓練上的損失最小,這是一種普適的思路。
  2. 而對於涉及到概率的問題,極大似然估計也是使得估計錯誤最小的一種思路,從數學推導上來看,LR的經驗風險就是極大似然估計取個對數加個負號而已。

這是兩種思維方式,但本質上是一樣的,損失函數這一套邏輯是機器學習的普適邏輯,而極大似然估計這套思想是來解決概率相關問題,如果對於迴歸問題,還怎麼用極大似然估計?(MSE,MAE)


1,優化目標不同。LR的目標函數是logloss,SVM是最大化分類面間距。2,對非線性問題的處理方式不同。LR主要靠特徵構造,必須組合交叉特徵,特徵離散化。SVM也可以這樣,還可以通過kernel。3,處理的數據規模不同。LR一般用來處理大規模的學習問題。如十億級別的樣本,億級別的特徵。

http://www.zhihu.com/question/24904422

合頁損失函數:《統計學習方法》 
這裏寫圖片描述

這裏寫圖片描述

這裏寫圖片描述

這裏寫圖片描述

這裏寫圖片描述

文章標籤: 面試svm
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章