Chapter 7 Support vector machine (reading notes)

0. 版权声明

• machine learning 系列笔记来源于Andrew Ng 教授在 Coursera 网站上所授课程《machine learning》¹；
• 该系列笔记不以盈利为目的，仅用于个人学习、课后复习及交流讨论；
• 如有侵权，请与本人联系（[email protected]），经核实后即刻删除；
• 转载请注明出处；

1. Large margin classification

1.1 优化目标（即最小化代价函数）

• SVM：Support vector machine（支持向量机）；
  • 用于学习复杂的非线性方程；
  • 是一种监督学习算法；
• 使用 SVM 的惯例：
  • SVM 表达式中没有 $\frac{1}{m}$ 这一项，即代价函数只是求解所有样本的误差之和，而不除以 m 取所有样本的误差均值；
  • 在逻辑回归中 $A+\lambda B$，给 $\lambda$ 赋较大值，防止过拟合；
    在 SVM 中 $CA+B$，给参数 C 赋较小值，防止过拟合；
    若取 $C=\frac{1}{\lambda}$，则以上两种方式优化后得到的 $\theta$ 相同；
• SVM 的代价函数：
  $J(\theta)=\min \limits_{\theta}C\sum_{i=1}^m[y^{(i)}cost_{1}(\theta^{T}x^{(i)})+(1-y^{(i)})cost_{0}(\theta^{T}x^{(i)})]+\frac{1}{2}\sum_{i=1}^n\theta_j^2$；

n. Reference

---

1. https://www.coursera.org/learn/machine-learning/home/welcome ↩︎