一、Loss Function
什麼是Loss Function？wiki上有一句解釋我覺得很到位，引用一下：The loss function quantifies the amount by which the prediction deviates from the actual values。Loss Function中文損失函數，適用於用於統計，經濟，機器學習等領域，雖外表形式不一，但其本質作用應是唯一的，即用於衡量最優的策略。本章只從機器學習（ML）領域來對其進行闡述，機器學習其實是個不停的模擬現實的過程，比如無人駕駛車，語音識別，流感預測，天氣預報，經濟週期行爲等衆多領域，是互聯網發展過程中“科學家”（暫且這麼稱呼吧）對於人類文明進步的另一個貢獻，其本質就是要建立一個數學模型用於模擬現實，越接近真實越好，那麼轉化爲數學語言即LF越小越好，因爲LF值代表着現實與學習預測的差距，這個不停的縮小LF值的過程就稱爲優化，如果理解這些的話，就不難理解優化問題對於ML來說的重要性了，如水之於魚，魂之於人！
二、幾種Loss Function概述
如上一節所述，LF的概念來源於機器學習，同時我們也知道機器學習的應用範圍相當廣泛，幾乎可以涵蓋整個社會領域，那麼自然不同的領域多少會有不同的做法，這裏介紹在一般的機器學習算法中常見的幾種，具有概括性
2.1 一般形式
J(w)=∑iL(mi(w))+λR(w)
LF分爲兩部分：L+R，L表示loss term，其中mi(w)=y(i)wTxi，y(i)∈{−1,1}，w表示學習出來的權重，該公式的作用很明顯了，用來收集現實與學習結果的差距，是LF的核心部分，LF的不同大部分也是指的loss term的不同；R表示範式，範式存在的意思是進行約束，以防止優化過偏。
2.2 一般的loss term有5種，分別用於5種常見的機器學習算法
Gold Standard（標準式）於理想sample，這種一般很少有實踐場景，這個方法的作用更多的是用來衡量其他LF的效用；Hinge於soft-margin svm算法；log於LR算法（Logistric Regression）；squared loss於線性迴歸（Liner Regression）和Boosting。
1）Gold Standard loss，一般我們稱這個LF爲L01，從公式中可以看出該公式的主要職責是在統計多少個錯誤的case，很明顯現實數據不允許如此簡單的統計方式
從公式我們可以很清楚的看出，當m<0的時候L=1，m<0說明預測失敗，那麼Loss則加1，這樣將錯誤累加上去，就是Gold Standard loss的核心思想。
2）hinge loss，常用於“maximum-margin”的算法，公式如下
l(y)=max(0,1−mi(w))
這個公式也很好理解，其中mi(w)在前面介紹過，表示樣本i在模型下的預測值的樣本i的類標記{-1,1}的乘積，這個乘積可以用來檢驗預測與真實結果是否一致來表示分類是否正確，當乘積大於0時表示分類正確，反之亦然。
3) log loss(一般又稱爲基於最大似然的負log loss)
l(y)=−likelihood
最大似然思想指的是使得某種情況發生的概念最大的思想，根據LR的思想（參考這篇文章logistic迴歸深入篇（1）），我們知道g(w)對應的simod圖，其將實域上的值映射到區間{0,1}，因此我們可以把g(w)看作事件A發生的概率，那麼1-g(w)可以看作事件A不發生的概率，那麼公式likelihood表達的含義就很明顯了，y也是一個概率值，可以看做是對事件A與A逆的分量配額，當然我們的期望是A發生的可能越大越好，A逆發生的可能越小越好！因此likelihood是一個max的過程，而loss是一個min的過程，因此log loss是負的likelihood。
4）square loss
這個loss很好理解，就是平方差，loss 一般也成爲最小二乘法
5）boosting loss
這個loss主要是基於指數函數的loss function。
三、幾種Loss Function的效果對比
上圖是多LF的效果對比圖，其中藍色的是Gold loss，可以看作水平基線，其他的loss的效果可以基於與它的比較結果，首先，紅色的是Hinge loss，黃色的是log loss，綠色的是boosting loss，黑色的是square loss，從上圖可以看出以下結論： Hinge，log對於噪音函數不敏感，因爲當m<0時，他們的反應不大，而黑線與綠線可能更愛憎分明，尤其是黑線，因此，在很多線性分類問題中，square loss也是很常見的LF之一。