目標函數、損失函數、代價函數

• 損失函數 (Loss function) ，是單個樣例 $i$ 的損失/誤差：

  $| h_{θ}(x^i) - y^i |$

• 代價函數 (Cost function) ，是對數據集整體的誤差描述，也就是損失函數的總和的平均，有沒有這個平均其實不會影響最後的參數的求解結果：

  $\frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2}$

• 目標函數（Object Function），爲了避免過擬合或者進行一些特殊目的約束（Constraint），一般會在代價函數的後面加上正則化項：

  $\frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2} + 正則化項$