MSML度量損失的Re-id算法

1、基於損失函數的Re-Id算法

Re-Id算法按損失函數劃分有：表示學習（Representation learning）和度量學習（metric learning）兩大類，表示學習將Re-id問題轉爲爲分類問題，常見是用softmax分類函數以及它的變式（A-softmax;AM-softmax;arc-softmax）爲代表，這些也是人臉驗證和識別常用的損失函數，是將提取的特徵，在特徵分佈空間中以明確的決策邊界將不同的類進行劃分達到識別身份的效果。而我們本文介紹的度量學習是通過度量函數讓正樣本對距離儘可能的小，而負樣本對距離儘可能的大，在特徵分佈空間中以聚類的形式呈現，沒有明確的決策邊界表示。代表有(contrastive loss;triplet loss;quadruplet loss; trip-hard loss;MSML)

基於表示學習的二分類特徵分佈：

基於度量學習的triplet loss特徵分佈：

2、Re-id 度量學習算法

由於度量學習算法讓網絡對大部分樣本對學習都比較容易，需要硬樣本來提高網絡的性能，因此大部分的研究都旨在如何設計損失函數來挖掘硬樣本讓網絡學習。MSML(Margin Sample Mining Loss:)就是通過挖掘硬樣本來提高網絡性能，具體如何挖掘以及它和其他度量學校算法的比較如下：

2.1 Triplet loss（三元組損失）

  公式：

這裏的$(z)_+=max(z,0)$A和$A^{'}$是正樣本對，而A和B是負樣本對，$\alpha$是正樣本對與負樣本對的，距離差最小的margin設置，小於這個margin設置就會有損失產生。

不足：三元組損失對是每個正對和負對共享一張相同的探針圖像（只能關注了正負對之間的相對距離）這種圖像對順序定義要求，讓網絡缺少泛化能力，難於應用於檢測任務。

2.2 Quadruplet loss（四元組損失）

公式：

四元組損失是在三元組損失函數的基礎上，又添加了一項計算絕對距離損失，來彌補三元組損失只能計算相對距離損失能力，它主要是添加另一張不同身份探針圖像C，讓正樣本圖像對(A,$A^{'})$與負樣本(C,B)對，沒有共享相同探針圖像。$\beta$比$\alpha$要小目的是讓相對距離損失佔據主要的地位。

**不足：**在數量集增大，會讓四元組數量也快速增加，大多數的樣本學校也相對容易，導致許多珍貴硬樣本被積壓（這個意思是說硬樣本被錯誤的預測，沒有真正的學習到）。限制了模型的性能。

2.3 triplet loss with hard sample(三元組硬樣本損失)

公式：

爲了學習到硬樣本應有的重要特徵，在每個批次中，包含不同的標識，每個標識具有相同的數量的樣本，（4）會選擇批次中相同標識的最不相似的樣本和不同標識的最相似的樣本。通過過濾樣本學習，來提高模型的魯棒性。

2.4 Margin sample mining loss(MSML)

公式：

公式中$C和B可以與A是相同身份，也可以是與A是不同身份$與 2.3節不同地方是不僅考慮包含相同探針樣品的正負對之間的相對距離，而且考慮來自不同探針樣品的正負對之間的絕對距離。其次，它繼承了硬樣本挖掘和其他方法的優勢。並且我們將其擴展到邊緣挖掘，從而帶來更好的性能。可以與其他方法結合使用。

藍色是最不相似的正樣本距離而紅色是最相似的負樣本距離，上面數字表示它們嵌入特徵的距離。在TriHard中負對的距離可能小於正對距離，（這是由於trihard沒有關注絕對距離損失的結果，而MSML不存在這個情況。）——我覺得作者是看了四元組損失與三元組損失的對比，再應用在三元組硬樣本損失上所得到的方法。

3、MSML 實驗

使用了基準網絡包括Resnet50；Inception-v2；Resnet50-X,
Cls表示標準表示學習算法.具體實現請參考論文原文。