損失函數，找到損失函數並希望使它的值最小，所以我們需要設定一個合適的W。
Multiclass SVM loss（多類SVM 損失）：兩分類支持向量機的泛化，計算了所有不正確的例子。
計算公式：
計算過程解釋：將所以不正確的類別的評分，與正確類別的評分相減 的值+1（這個1爲安全係數，可以隨意設置），將這個數值和 0 作比較，取兩者中的最大值，然後求和。
綜合：
這個方法的缺陷：當權重很大的時候，取得的分數也會越大。
正則化：用來衡量你的訓練損失和你用的測試集的泛化損失。
其中，R(W)用來衡量W的好壞，據此就可以優化W的值.
常用的正則化形式：
L2:自拍功能
L1:
支持向量機和softmax classifier 的區別：兩者普遍應用於線性分類器，但是softmax 分類器使用的更多，雖然它們的分類結果是一樣的.
softmax 分類器的計算：
將每一個分類的y的值求exp，然後在用每一個分類對應的值處以總值求的所佔的概率大小。
梯度：
數值梯度：當每一個W值進行極其微小的改變時（+h，h取0.000001等等），
解析梯度：因爲數值梯度計算十分緩慢，所以使用微積分的方式計算梯度更快，但有可能會出現計算錯誤。
基於以上，計算梯度時通常使用兩個計算方法結合，使用解析梯度進行計算，然後計算數值梯度的值來進行驗證。
總結：
由於線性分類器並不能直接作用於像素，所以人們通常是將圖片的特徵進行提取，然後將這些特徵組合成一個向量，最終將這個向量交給線性分類器去處理。