機器學習第一章複習（2）

本文用於複習《Machine Learning》第一章部分內容

內容來自於Andrew Ng的機器學習課程，主要是爲了回憶起來方便

第一章後三講主要講解的是代價函數、梯度下降和線性代數基本知識

---

• cost function

  這裏cost function即代價函數是指，選擇a和b使得h(x)=b+ax中，h(x)最接近於y，即是如下方程

minθ12m∑i=1m(hθ(x(i))−y(i))2

hθ(x)=θ0+θ1x

處理過程爲

1. 簡化方程令θ0=0，使得
   J(θ1)=12m∑i=1m(hθ(x(i))−y(i))2
   minθ1J(θ1)
2. 不斷嘗試找到使J達到最小值的θ1

• gradient descent

  這裏gradient descent是指，梯度下降算法，大意是說根據J的導數得到上升還是下降趨勢以求得匯合到最低點，循環使用如下公式直到匯合到最低點：

  θj:=θj−α∂∂θjJ(θ0,θ1)
  
  值得注意的是如下幾點

1. 首先，θ0、θ1要同時更新，不可以先更新一個再更新另一個，因爲更新後J就變了
2. 其次，α的選值不可過小，因爲這樣會導致匯合過程很慢
3. 最後，α的選值不可過大，因爲這樣會導致無法匯合

• linear algebra

  關於線性代數，沒什麼特別好說的，主要是看書學好線代就好。特別注意的是基礎的部分要夯實，例如矩陣的加、減、乘，反矩陣，轉置矩陣等等基礎的矩陣用法要會。