week 3 (reading notes)

0. 版權聲明

• machine learning 系列筆記來源於Andrew Ng 教授在 Coursera 網站上所授課程《machine learning》¹，該系列筆記不以盈利爲目的，僅用於個人學習、課後複習及交流討論；
• 如有侵權，請與本人聯繫（[email protected]），經覈實後即刻刪除；
• 轉載請註明出處；

1. linear regression & logistic regression

• 在 classification 問題中，linear regression 的 hypothesis function 會由於 training example 不同而發生較大變化，因此不宜使用線性迴歸方法處理分類問題；
  大多數實際問題並不嚴格遵從於某個 linear function ；
  
• linear regression 在預測 binary classification problem 時，即使 training example 中均滿足 $0<y<1$，仍可能出現 $h_{\theta}(x) < 0$ 或 $h_{\theta}(x) > 1$ 的情況；
• logistic regression 中可確保 $0\leq h_{\theta}(x) \leq1$ ；
  logistic regression 是一種分類算法，由於歷史原因被命名爲 regression ；

2. hypothesis representation

2.1 notation

• hypothesis function of logistic regression 含義：當輸入爲 x 時，y = 1 的可能性；
  $h_{\theta}(x)=p(y=1|x; \theta)$ ：probability that y = 1 ,given x, parameterized by $\theta$ ;
• decision boundary：決策邊界；

2.2 elements

• linear regression : $h_{\theta}(x)=\theta^{T}x$ ;
• sigmoid (adj. S型的) function / logistic function : $g(z)=\frac{1}{1+e^{-z}}$ ; ²
• sigmoid function 將任意值映射到 0-1 區間上；

• 令 $z = \theta^{T}x$ ；
  hypothesis function of logistic regression : $h_{\theta}(x)=\frac{1}{1+e^{-\theta^{T}x}}$ ;
  當 $\theta^{T}x \geq 0$ 時，預測 y = 1 ;
  當 $\theta^{T}x < 0$ 時，預測 y = 0 ;
• 決策邊界不是 training set 的屬性，而是假設本身及其參數的屬性；

n. reference

---

1. https://www.coursera.org/learn/machine-learning/home/welcome ↩︎

2. https://zh.wikipedia.org/wiki/S函數 ↩︎