行人重識別之監督學習與無監督學習結合（CVPR2019）
貢獻
該論文提出了存儲器的概念用來優化特徵提取網絡。
改論文將監督學習與無監督學習結合起來了。
部分論文翻譯
在此基礎上，我們提出了一種新的無監督域自適應方法，在訓練過程中，在網絡中引入一個樣本存儲器來存儲目標集合中每個樣本的最新表示。內存使我們能夠對整個/全局目標訓練批而不是小批執行不變性約束。這有助於我們在網絡優化過程中有效地進行目標域的不變性學習。
摘要
本論文研究了域自適應人再識別（re-ID）問題：從有標記的源域和無標記的目標域學習re-ID模型。傳統的方法主要是減小源域和目標域之間的特徵分佈差距。然而，這些研究大多忽略了目標域的域內變化，這些變化包含了影響目標域測試性能的關鍵因素。本文綜合研究了目標域的域內變化，提出了reid模型的三種基本不變性，即樣本不變性、攝像機不變性和鄰域不變性。爲了實現這一目標，引入了一個樣本存儲器來存儲目標域的特徵，並適應這三個不變性。內存允許我們在全局訓練批上強制執行不變性約束，而不會顯著增加計算成本。實驗證明，這三個不變性和所提出的記憶對於一個有效的域自適應系統是必不可少的。在三個re-ID域上的實驗結果表明，我們的域自適應精度大大優於現有技術。代碼位於：https://github.com/zhunzhong07/ECN
出發點
把目標數據集的每個攝像頭當做一個域，設計損失函數完成每個攝像頭的不變性以、樣本不變性以及領域不變性。
網絡結構
在現實中，每個人的樣本都可能與其他樣本存在顯著差異，甚至屬於同一身份。因此，通過學習區分個體樣本，使得re-ID模型能夠捕獲人的表示。在此基礎上，引入樣本不變性，通過強制每個人樣本靠近自己，遠離他人，來學習未標記目標數據的明顯相似性。其次，相機風格的變化[44]可能會顯著改變人的外貌，是影響人的識別的一個關鍵因素。然而，由攝像風格轉換產生的人物形象仍然屬於原始身份。考慮到這一點，我們在假設人物圖像和相應的相機樣式傳輸的圖像應該彼此接近的情況下，強制執行相機不變性[43]。第三，假設我們得到了一個在源域和目標域上訓練的合適的reID模型。目標示例及其在目標集中的最近鄰居可能具有相同的標識。考慮到這一特點，我們通過鼓勵一個樣本與其對應的可靠鄰居彼此接近來表示鄰域不變性。這有助於我們學習一個更健壯的模型，以克服目標域的圖像變化，例如姿勢、視圖和背景變化。網絡結構圖如下：
藍色箭頭部分代表監督學習，輸入圖片爲源域數據集，橙色箭頭代表無監督學習，輸入爲目標域圖片，與以往無監督域適應不同，這個網絡將監督學習與無監督學習結合起來訓練。前面是ResNet的特徵提取部分，後面分爲監督學習的id的softmax損失函數以及無監督學習的三個損失函數。無監督部分有個存儲器，結構爲鍵值對，key爲目標數據集的所有圖片提取的特徵，value爲序號，這些序號作爲目標數據集的軟標籤，從1-目標數據集總數n，這是爲了將學習目標數據集的樣本獨立性，使得模型能夠學到每張圖片的顯著性表示，每張圖即使屬於同一個id，外觀上可能也存在區別，而通常分類以及查詢靠前的都是外觀相似的，因爲更可能地依靠的外觀信息而不是語義信息。訓練時將每一張目標數據集的圖片輸入預計它屬於開始分配軟標籤的概率，這是通過首先計算其特徵與密鑰存儲器中保存的特徵之間的餘弦相似度，存儲器中key初始爲0，然後使用softmax函數計算目標域數據提取的特徵xt,i 屬於類i的預測概率：
損失爲：
每次反向傳播的時候更新存儲器中的key，a隨着epoch逐漸增大，表明學到的特徵越來越準確：
論文中把目標數據集中不同攝像頭看做不同的域，因此有了相機不變性損失，首先用stargan生成目標域各個攝像頭風格的圖片，並且保證他們的預測結果相同，有了如下損失：
論文還提出了領域損失，意思是，與查詢目標圖片最相似的k個圖片中(與存儲器中圖片做對比)可能存在實際ID相同的圖片(這裏不是指存儲器id，指的是這兩張圖就是一個人)，那麼把這些圖片的id分別計算交叉熵損失。同時去除對預測爲i的損失的計算，上面樣本不變性損失計算過了，損失如下，M(x,k)是最相似地id 的集合：
wij是分配的權重
總體損失如下：
式中j∈M（x*t，i，k）。x∗t，是從xt的並集及其相機樣式傳輸的圖像中隨機採樣的圖像。NTI訓練批中的目標圖像數。在式8中，當i=j時，我們通過將x*t，ii分類到它自己的類中，利用樣本不變性學習和攝像機不變性學習來優化網絡。當i 6=j時，通過引入x*t，使網絡在M（x*t，i，k）中接近鄰域，利用鄰域不變性學習對網絡進行優化。