行人重識別之cross domain
Transferable Joint Attribute-Identity Deep Learning for Unsupervised Person Re-Identification (CVPR2018)
一篇關於cross domain的文章，發現這類文章有一個相似的規律，即學習行人更具本質的特徵。這樣在cross domain的時候，這些特徵同樣適用。比如上一篇文章提到，學習分塊圖像的特徵，這其實就從某種程度上減少了行人姿態（也可以說是攝像頭視角）、雜亂的背景等因素的影響。這篇文章就利用了行人的屬性信息。因爲和行人的身份不同，屬性信息在cross domain後同樣適用。
這篇文章的內容比較易懂，我們通過算法框架圖對該算法進行介紹。最後討論一下內在思想。
使用Source數據庫，訓練身份標籤分支（藍色）和屬性分支（紫色），都是使用了交叉熵損失。比如圖像有m類屬性信息，那麼粉色分支的交叉熵損失就將m個損失相加。
重點說一下綠色的部分，是一個自編碼器網絡，編碼器和解碼器分別是三個全連接層。編碼器生成的eIIA的維度爲m，和上述的m類屬性信息相對應。自編碼器網絡的輸入是藍色分支的特徵向量。使用三個損失函數對其進行約束。
重構損失：
即自編碼器輸出與輸入的均方誤差。
遷移損失：
patt是對m類屬性的預測，所以也是m維，對兩者的差異性進行懲罰。
預測損失：
nbs是batchsize。直接使用eIIA對m類屬性進行預測的損失。
看到這大家就會明白，使用身份標籤訓練得到的特徵向量，經過自編碼器和以上損失，最終實現了屬性的預測功能。在joint learning的過程中，身份和屬性維度的信息就會逐漸融合。因爲這種共同約束體現在圖中的紫色和綠色之間（根據圖中的箭頭可以看出），所以紫色分支從原來的屬性維度逐漸變成了身份-屬性維度。
在使用target數據庫進行遷移的時候，用紫色分支預測target中圖像的屬性標籤(soft label)，然後使用該標籤對紫色和綠色部分進行進一步的訓練。最後的測試只使用紫色分支。
遷移的意義如下圖所示：
在source上訓練完後，eIIA和patt的差距不大了。但是換個數據庫，兩者的差異性又體現出來。所以要進行遷移，使得兩者不斷靠近。
對訓練過程不清晰的朋友們可以看看下圖的算法流程。
總結：通過不同功能網絡的結合訓練，實現信息的交融是個不錯的想法。針對cross domain問題，不能依賴於source的身份標籤，核心思想是從另外一個角度學習到更本質的特徵。當你找到這個角度的時候，或許就已經贏了一半。
完
歡迎討論 歡迎吐槽