哲哲的ML筆記(二十五:SVM背後的數學知識)

內積

如果有兩個向量u、v,如下圖, 計算u^Tv,乘出來是一個數。藉助座標系,u^Tv的含義是vu向量上的投影p再乘u的長度
注意:p有正負,沿u正方向投影則爲正;沿u負方向投影則爲負

SVM

回顧SVM的代價函數,如下公式。


當前一項爲0時,即\theta^Tx\geq1\theta^Tx\leq -1時,代價函數就化簡成\min_{\theta} \sum_{j=1}^{n}\theta^2_j

\theta^Tx,根據內積的思想,是x沿\theta方向的投影長度*\theta的長度
若要\theta^Tx\geq1,當投影p的長度較大時,\theta的長度就可以儘量小,\sum_{j=1}^{n}\theta^2_j就可以小

這是爲什麼支持向量機最終會找到大間距分類器的原因。因爲它試圖極大化這些投影p
另外,當\theta_0=0時,代表分類邊界需要經過原點

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章