LR與SVM簡述

LR與SVM相同點:

1、本質上都是線性(分類)算法;
2、都是有監督的判別模型

LR與SVM不同點

1、目標函數不同
LR的目標函數主要是最小化預測樣本分佈與實際樣本分佈的交叉熵。(邏輯/對數迴歸用極大似然函數求解,一般迴歸用求導求解)
在這裏插入圖片描述
SVM的目標函數是最大化距離超平面最近異類樣本點間的間隔。
在這裏插入圖片描述
2、SVM是結構風險最小化,LR是經驗風險最小化。
3、解決非線性問題是SVM可採用核函數的機制,LR通常不會採用核函數。
4、LR方法基於概率理論,SVM基於幾何間間隔最大化。
5、SVM目標函數自帶正則化項(L2),LR需要另外加正則化項。
6、SVM依賴數據表達的距離測度,所以需要對數據先做normalization,LR不受其影響。
7、SVM不直接依賴於數據分佈,分類平面不受非支持向量點影響;LR則受所有數據點的影響,如果數據不同類別strongly unbalance,一般需要先對數據做balancing。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章