Pose-Normalized Image Generation for Person Re-identification
- github: https://github.com/naiq/PN_GAN
在這項工作中，我們通過提出一種新的深度人物圖像生成模型來處理缺少交叉視角配對訓練數據，以及劇烈姿勢變化難的這兩個問題，以合成以姿勢爲條件的真實人物圖像。該模型基於專門針對re-id中的姿態歸一化而設計的生成對抗網絡（GAN），因此被稱爲姿態歸一化GAN（PN-GAN）。通過合成圖像，我們可以學習一種沒有姿態變化影響的新型深度重新識別特徵。我們證明，這個特徵本身很強大，並且與原始圖像學習的特徵相輔相成。重要的是，在轉移學習設置下，我們表明，我們的模型很好地適用於任何新的數據集，而無需收集任何用於模型微調的訓練數據。因此，該模型有可能使re-id模型真正具有可擴展性。
目的：無需擔心姿勢變化，該模型可以專注於學習身份敏感特徵並應對其他協變量，如不同的照明條件和背景。
姿態歸一化GAN（PNGAN）。給定任何人的圖像和理想姿勢作爲輸入，該模型將輸出具有相同身份的合成圖像，其中原始姿勢替換爲新姿勢。
姿態估計。 圖像生成過程以輸入圖像和一個factor爲條件：由骨架姿態圖像表示的期望姿態。 姿態估計是通過預訓練的現成模型獲得的。 更具體地說，部署了現成的姿態檢測工具包 - OpenPose [4]，該工具包在不使用任何re-id基準數據的情況下進行了訓練。 給定輸入人員圖像Ii，姿勢估計器可以產生姿勢圖像IPi，其定位和檢測18個解剖學關鍵點以及它們的連接。 在姿勢圖像中，肢體的方向用顏色編碼（見圖2，目標姿勢）。 理論上，來自任何人物圖像的任何姿態都可以用作控制另一個人生成的圖像姿勢的條件。 在這項工作中，我們專注於姿態歸一化，所以我們堅持八個典型的姿勢，如圖4（a）所示，稍後會詳細介紹。
3.3. Person re-id with Pose Normalization（important）
如圖2所示，我們訓練兩個re-id模型。使用訓練集中的原始圖像對一個模型進行訓練，以在存在姿勢變化的情況下提取身份不變特徵。另一種是使用具有歸一化姿勢的合成圖像使用我們的PN-GAN來計算沒有姿態變化的重新識別特徵。然後將它們融合爲最終的特徵表示。
姿勢標準化。我們需要獲得一套規範的姿勢，這些姿勢代表了監控攝像機拍攝的公衆人物展示的典型視角和身體形態。爲此，我們預測數據集中所有訓練圖像的姿態，然後將姿勢分組爲8個聚類。我們使用在ImageNet ILSVRC-2012數據集上預先訓練好的VGG-19 [5]來提取每個姿態圖像的特徵，並且使用K-means算法將訓練姿態圖像聚類爲規範姿勢。然後將這些聚類的平均姿態圖像用作規範姿勢。 Market-1501 [61]獲得的八個姿勢如圖4（a）所示。通過這些姿勢，給定每個圖像I，我們的生成器將通過用這些姿勢替換原始姿勢來合成八個圖像。
測試階段， 當ResNet-50-A和ResNet-50-B在測試過程中被訓練後，對於每個gallery圖像，我們將其饋入ResNet-50-A以獲得一個特徵向量;併合成生成8個規範姿勢的圖像，將它們送入ResNet-50-B以獲得8個無姿勢特徵。這可以離線完成。然後給出一個查詢圖像Iq，我們做同樣的事情獲得九個特徵向量
。由於Maxout和Max-pooling被廣泛用於多視頻re-id查詢中，因此我們通過以元素最大化操作來融合九個特徵向量來獲得一個最終特徵向量。然後，我們計算查詢和圖庫圖像的最終特徵向量之間的歐幾里得距離，並使用距離來排列圖庫圖像。
Experiment
Our model only uses the identification loss, so should be compared with Basel. + LSRO which uses the same ResNet-50 base network and the same loss.
在第二項研究中，我們比較了當特徵與8個姿勢合併時得到的結果與僅用一個姿勢合併得到的結果，結果如表5所示。在mAP上Market-1501的結果從72:58降至69:60。這表明具有八個規範姿勢是有益的 - 在一個特定姿勢下生成的圖像的質量可能較差;使用全部八個姿勢因此降低了針對特定姿勢生成的圖像的質量的敏感度。
合成圖像的例子。圖5給出了一些合成圖像姿勢的例子。給定一個輸入圖像，我們的圖像生成器可以在不同姿勢下產生逼真的圖像，同時保持與輸入人物圖像相似的視覺外觀。我們發現：（1）儘管我們沒有明確地使用屬性來指導PN-GAN，但不同姿勢的生成圖像與原始圖像具有大致相同的視覺屬性。 （2）如圖5最後一行所示，我們的模型可以幫助緩解由遮擋造成的問題：一個穿着黃色襯衫和灰色長褲的男人被自行車擋住，而我們的圖像生成器可以生成合成圖像以保留他的鑰匙屬性，同時去除堵塞。
