機器學習Machine Learning：cost 函數，loss函數，objective函數的區別和聯繫？
關於這個問題，我也是機器學習初學者，對於這些概念感覺有必要追根究底。
不同筆者有不同的見解，通過蒐集一些相關筆者的回答和個人的理解，我整理了材料如下：
首先在Andrew NG的Coursera：Neural Networks and Deep Learning 課程中，有如下一段話：
The loss function computes the error for a single training example; the cost function is the average of the loss funcitons of the entire training set.
課堂PPT如下所示：
loss(error) function 是單個樣例的損失/誤差；而 cost function 是對數據集整體的誤差描述，是選定參數 w 和 b 後對數據進行估計所要支付的代價，cost 是對所有數據的誤差取平均得到的。
關於此塊具體詳解，參考周志華老師的《機器學習》書中如下解釋，
以在SVM中爲例，SVM中優化目標函數如下：
經驗損失(loss)就是傳說中的損失函數或者代價函數。結構損失(Ω)就是正則項之類的來控制模型複雜程度的函數。
舉個栗子：
《機器學習》目標函數解析
其中經驗風險（empirical risk）,用於描述模型與訓練數據的契合程度；C用於對二者分析進行折中。從經驗風險最小化的角度來看，表達了我們需要獲得具有何種性質的模型（例如取得複雜度較小的模型），這爲引入領域知識和用戶意圖提供了路徑；另一方面，該信息有助於削減假設空間，從而降低了最小化訓練誤差的過擬合風險。
