Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification

行人重識別之分塊無監督學習

Patch-based Discriminative Feature Learning for Unsupervised
Person Re-identification
原文鏈接：http://openaccess.thecvf.com/content_CVPR_2019/papers/Yang_Patch-Based_Discriminative_Feature_Learning_for_Unsupervised_Person_Re-Identification_CVPR_2019_paper.pdf

這篇文章的算法是純粹意義上的無監督，沒有使用數據庫中的任何標籤信息，針對的是同一個數據庫。實驗結果與有監督學習雖然還有一定的差距，但是至少說明了無監督學習的可行性，這對於未來的研究十分有意義。

如圖所示，作者認爲，雖然圖像的label不同，但是它們的局部存在很多的相似性，對每一個局部的相似性和差異性進行學習，最後再將其整合在一起，各個部分互相補充，就可以進行識別。在這個過程中是不需要標籤的，也就實現了完全的無監督學習。

其整體框架如上圖所示：
PEDAL是約束局部的損失函數，拉近相似的局部，推開不相似的局部。IPFL是約束整體的損失函數，拉近正樣本對(如圖左側，對圖像進行一些類似裁剪、飽和度、翻轉等變換從而構成正樣本對)，推開負樣本對。Patch generation network是在MSMT17數據庫上訓練的空間變換網絡，對輸入的圖像進行分塊。根據分塊位置的不同分成若干個CNN分支，每一個分支對一個batchsize內的一個位置的所有圖像塊提取特徵，然後利用上述PEDAL進行約束，同時，將不同分支的特徵進行連接，構成圖像整體的特徵向量，利用上述IPFL進行約束。

接下來，對上述過程可能會產生的兩個問題進行解釋。

如何判斷圖像塊是否相似？
使用表示第i張圖像的第m個圖像塊的特徵。構建一個存儲器N是圖像數量，小w代表之前更新的存在存儲器的特徵。公式如下：

l是學習率，t是epoch，可以看出，使用一個epoch內提取的特徵x，對w不斷進行更新。在此過程中，我們計算x與存儲器中每一個w的差異，從而找到最相似的w，然後使用PEDAL對其進行約束，如下所示:k表示最相似的w構成的集合。

通過損失函數的約束，對存儲器不斷進行更新，網絡就可以使相似的圖像塊的特徵向量越來越相似。換而言之，網絡就具有了識別哪些塊相似，哪些塊不相似的能力。
如何構建負樣本對？
具體言之，應該是如何構建最難的負樣本對，這樣才能實現最好的約束。如下圖所示：

將局部特徵向量的連接，獲得了整體圖像的特徵向量，從而可以計算出一個batch內圖像之間的相似度。對於target計算出相似度序列，然後對排在最前面的圖像計算相似度序列。如果target不在前r個裏面，那麼它們就是最難負樣本對。
這樣做的原因：圖中第一行說明兩個圖像很相似，但不敢保證是否屬於正樣本對。圖中第二行保證它們不是正樣本對，因爲target越靠前，證明兩者是正樣本對的概率越大(所以選擇合適的r也很重要)，雖然也會有漏網之魚，但是無監督學習也只能這樣了。結合這兩點，就構成了最難負樣本對。再結合上述變換得到的正樣本對，就可以使用三元組損失函數了，即上述的IPFL。