Chapter 7 Support vector machine (reading notes)

0. 版權聲明

• machine learning 系列筆記來源於Andrew Ng 教授在 Coursera 網站上所授課程《machine learning》¹；
• 該系列筆記不以盈利爲目的，僅用於個人學習、課後複習及交流討論；
• 如有侵權，請與本人聯繫（[email protected]），經覈實後即刻刪除；
• 轉載請註明出處；

1. Large margin classification

1.1 優化目標（即最小化代價函數）

• SVM：Support vector machine（支持向量機）；
  • 用於學習複雜的非線性方程；
  • 是一種監督學習算法；
• 使用 SVM 的慣例：
  • SVM 表達式中沒有 $\frac{1}{m}$ 這一項，即代價函數只是求解所有樣本的誤差之和，而不除以 m 取所有樣本的誤差均值；
  • 在邏輯迴歸中 $A+\lambda B$，給 $\lambda$ 賦較大值，防止過擬合；
    在 SVM 中 $CA+B$，給參數 C 賦較小值，防止過擬合；
    若取 $C=\frac{1}{\lambda}$，則以上兩種方式優化後得到的 $\theta$ 相同；
• SVM 的代價函數：
  $J(\theta)=\min \limits_{\theta}C\sum_{i=1}^m[y^{(i)}cost_{1}(\theta^{T}x^{(i)})+(1-y^{(i)})cost_{0}(\theta^{T}x^{(i)})]+\frac{1}{2}\sum_{i=1}^n\theta_j^2$；

n. Reference

---

1. https://www.coursera.org/learn/machine-learning/home/welcome ↩︎