附論文下載鏈接：https://arxiv.org/pdf/2004.09228.pdf
【課題介紹】：北大Dongkai Wang，Shiliang Zhang的工作，錄用於2020CVPR，首個利用多標籤分類問題做無監督方面的行人再識別問題。本博只記錄論文的理論思想以及idea的創新工作，便於後期回憶，具體實驗細節部分請讀者參見論文。
1、介紹
在無監督工作中，一般有三類：一種是傳統方法做無監督，這類方法無論是在有監督還是無監督中都存在致命缺陷，就是提取特徵不充分，自DL以來，逐漸摒棄，但不否定這類方法結合DL來做工作的可行性；第二類是利用K-means這類聚類方法，將無標籤的數據通過聚類打上僞標籤，在根據有監督的reid任務來做，但是通過聚類方法設定僞標籤這類形式會大大降低準確率，因爲較難樣本的聚類總會出現偏差，會造成大量離羣點，在聚類中產生很多噪音，從而影響聚類結果，使得標籤出錯，影響檢索結果；第三類方法就是比較常見的利用遷移學習，主要是解決域適應的問題，這類方法思想是利用源域有標籤的數據輔助訓練，還有一些無標註的目標域數據訓練，最終在目標域進行測試，目前，有工作在這類無監督reid中的精度結果已經與有監督的一些工作相當，但是這類方法也有一定的缺陷：有標籤的源域以及無標籤的目標域之間的數據存在於偏差，見下：
所以這篇無監督工作（MPLP+MMCL）：不利用任何帶有標籤的數據進行訓練，旨在做多標籤分類問題，將每一張行人圖片視作一類，最後將屬於同一ID的多類標籤判定類別。
如圖，其核心方法主要是：
①MPLP（Memory-based Positive Label Prediction）：將每一張圖片視作單分類任務，爲了得到的label預測更準確，考慮了相似性計算（visual similarity）以及風格一致性（cycle consistency）兩部分計算label【Yi~】得分。所有的提取特徵放在memory bank中，以進行相似性計算以及相似性“鄰居”【指的是i的檢索序列和j的檢索序列存在共有鄰居，則i,j極可能一類】
②MMCL（memory-based multi-label classification loss）：多標籤分類損失，將多標籤分類以及單標籤分類嵌入一個統一的架構聯合訓練。比較其他loss優點:去掉交叉熵損失的激活函數sigmoid的歸一化操作，解決梯度消失的問題，採用L2；去掉softmax計算得分，大大減少計算量，直接利用每張圖片得到的特徵作爲分類器，而不是經過softmax計算，簡化計算過程。如：對於任意圖片Xj，其多標籤分類分數計算如下：
2、核心技術
①MPLP：
MPLP首先根據Xi與其他圖片的特徵計算相似性得到一個排序列表，Si,j代表i與j的相似性得分：
如果只根據排序列表做最終的標籤預測，則保證不了質量，因爲數據集存在遮擋，冗餘，視角等等問題，不能只根據相似性考量。所以，MPLP採用兩部分考量：
similarity score+cycle consistency
【similarity score】：就是直接考慮排序表靠前的幾個候選者，具體的話，設置參數t閾值，進一步篩選top k的數據…
【cycle consistency】：借鑑互近鄰的思想，意思是如果兩張圖片屬於同一類，則他們的檢索結果幾乎是一致的；也就是說，如果兩張圖片的label一致，則他們會出現在各自的檢索序列結果中。據此，提出根據cycle consistency在上述Pi中選擇困難負樣本。具體操作如下（可見re-ranking以及HHL這兩篇論文，加深理解）：
②MMCL：
Multi-Label Classification (MCL) loss計算如下：
根據上面公式，引入超參數T，叫做MCL-τ損失：
上述MCL損失存下兩大問題：①梯度消失②模型崩塌
所以引入MMCL損失：
爲解決第一個問題，即梯度消失，去除sigmoid激活函數直接擬合分數至[-1,1]，公式如下：
爲解決第二個問題，即模型崩塌，也就是正樣本與負樣本不均衡的問題，引入難樣本來解決。
3、實驗以及參數分析
這部分具體看論文，實驗比較全，涉及：具體超參數的分析以及方法的對比。在常用三個數據集上的實驗效果不錯，也對比現有的無監督方法，均有顯著提升！