目标函数、损失函数、代价函数

• 损失函数 (Loss function) ，是单个样例 $i$ 的损失/误差：

  $| h_{θ}(x^i) - y^i |$

• 代价函数 (Cost function) ，是对数据集整体的误差描述，也就是损失函数的总和的平均，有没有这个平均其实不会影响最后的参数的求解结果：

  $\frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2}$

• 目标函数（Object Function），为了避免过拟合或者进行一些特殊目的约束（Constraint），一般会在代价函数的后面加上正则化项：

  $\frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2} + 正则化项$