Person Transfer GAN to Bridge Domain Gap for Person Re-Identification論文閱讀

論文地址
論文提出的主要創新點就爲了彌補某算法可以在已數據集上取得很好的效果,但是在其他數據集上泛化性能較差。作者通過借鑑Cycle-GAN的思想提出了PTGAN,與Cycle-GAN不同的是PTGAN可以生成更高質量的person image。通過PTGAN可以有效的減少各數據集之間的域間隔。
Related Work
我們這個工作主要分爲在ReID中的descriptor learning與通過GAN的image-to-image 風格轉移。大多數方法學習的是全局的descriptors同時忽略了重要的局部信息.[1]解決了這個問題。[2]提出通過一定的人工製作特徵可以作爲深度特徵的補充。儘管大量的方法取得很好的效果,但是忽略了不對齊問題。
[3] utilize Deepercut [4] to detect three coarse body regions and then learn an global local-alignment descriptor. In [5], more fine-grained part regions are localized and then fed into the proposed Spindle Net for descriptor learning. Similarly, Li et al. [6] adopt Spatial Transform Networks (STN) [7] to detect latent part regions and then learn descriptors on those regions.
在[8]中提出了一種可以從輸入輸出圖片學習映射函數的網絡,但是需要成對的輸入圖片,[9],[10],[11]提出方法解決這個問題。在本文中我們參考與Cycle-GAN類似的方法提出PTGAN。
MSMT17 Dataset
已有的數據集有衆多不足,簡要總結有以下四點:
1)行人或攝像頭過少;2)大部分數據集僅在單一場景下采集(室內室外);3)大部分現存的數據集是由短時間採集沒有明顯的光線變化;4)bounding boxes由昂貴的手工或過時的算法標註。
MSMT17是一種混合場景混合時段的行人數據集,使用了15個攝像頭其中12個室外攝像頭,3個室內攝像頭。在一個月內的選擇不同天氣條件的四天採集視頻數據收集。每天分別在早晨,中午,晚上進行三個小時的數據採集。使用faster-rcnn進行bounding-box標註。
Person Transfer GAN
PTGAN遵循兩個限制即風格遷移和人的保留。風格遷移通過學習兩不同數據集間的風格映射函數,人的保留達到風格遷移後的人的圖片保持變。因爲風格遷移後人的ID是不變的,因此我們需要在訓練過程中限制人的身份。
定義loss founction:
LP T GAN =LStyle + λ1LID
LStyle表示style損失,LID表示identify損失,λ1權衡兩個loss權重。
LStyle =LGAN (G, DB, A, B) + LGAN (G’, DA, B, A) + λ2Lcyc(G, G’)

[1]Person re-identification by multi-channel parts-based cnn with improved triplet loss function
[2]An enhanced deep feature representation for person re-identification
[3]Global-local-alignment descriptor for pedestrian retrieval.
[4]Deepercut: A deeper, stronger, and faster multiperson
pose estimation model.
[5]Person re-identification with human body region guided feature decomposition and fusion.
[6]Learning deepcontext-aware features over body and latent parts for person re-identification.
[7]Spatial transformer networks
[8] Imageto-image translation with conditional adversarial networks.
[9]Unpaired imageto-image translation using cycle-consistent adversarial networks
[10]Unsupervised dual learning for image-to-image translation
[11]Learning to discover cross-domain relations with generative adversarial networks

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章