week 5 Neural Network: Learning (reading notes)

0. 版權聲明

• machine learning 系列筆記來源於Andrew Ng 教授在 Coursera 網站上所授課程《machine learning》¹；
• 該系列筆記不以盈利爲目的，僅用於個人學習、課後複習及交流討論；
• 如有侵權，請與本人聯繫（[email protected]），經覈實後即刻刪除；
• 轉載請註明出處；

1. cost function and back propagation

1.1 cost function

• L:：神經網絡層數；
• $s_{l}$：第 i 層神經元數目（不包含bias unit）；
• $\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})\}$：m 個訓練樣本；
• 神經網絡中邏輯迴歸的代價函數表達式：
• $J(\theta)=-\frac{1}{m}[\sum_{i=1}^m\sum_{k=1}^Ky_k^{(i)}log(h_{\Theta}(x^{(i)}))_{k}+(1-y_k^{(i)})log(1-h_{\Theta}(x^{(i)}))_{k}]+\frac{\lambda}{2m}\sum_{l=1}^{L-1}\sum_{i=1}^{s_{l}}\sum_{j=1}^{s_{l+1}}(\Theta_{ji}^{(l)})^2$；
  • K：分類的類別數目；
  • $h_{\Theta}(x)\epsilon R^{K}$：one-vs-all 輸出的特徵向量是 K 維特徵向量；
  • ${(h_{\Theta}(x))}_{i}$：特徵向量中第 i 個元素；

n. reference

---

1. https://www.coursera.org/learn/machine-learning/home/welcome ↩︎