哲哲的ML笔记(二十五:SVM背后的数学知识)

内积

如果有两个向量u、v,如下图, 计算u^Tv,乘出来是一个数。借助座标系,u^Tv的含义是vu向量上的投影p再乘u的长度
注意:p有正负,沿u正方向投影则为正;沿u负方向投影则为负

SVM

回顾SVM的代价函数,如下公式。


当前一项为0时,即\theta^Tx\geq1\theta^Tx\leq -1时,代价函数就化简成\min_{\theta} \sum_{j=1}^{n}\theta^2_j

\theta^Tx,根据内积的思想,是x沿\theta方向的投影长度*\theta的长度
若要\theta^Tx\geq1,当投影p的长度较大时,\theta的长度就可以尽量小,\sum_{j=1}^{n}\theta^2_j就可以小

这是为什么支持向量机最终会找到大间距分类器的原因。因为它试图极大化这些投影p
另外,当\theta_0=0时,代表分类边界需要经过原点

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章