行人重識別之多維度數據庫風格遷移
Adaptive Transfer Network for Cross-Domain Person Re-Identification
原文鏈接
之前研讀的數據庫風格遷移方面的文章，直接使用cyclegan對風格進行遷移，外加一些損失函數進行約束。這篇文章對數據庫之間差異的原因進行分析並分爲三類：光照差異、攝像頭角度差異、分辨率差異。在此基礎上，利用三者進行風格遷移。
如圖所示，是使用本文框架進行風格遷移的三個例子。可以看出，使用三個cyclegan實現光照、攝像頭視角、分辨率的風格遷移，然後對其賦予不同的權重，從而合成最後的遷移圖像。
其具體框架如下圖：
使用編碼器提取三個維度的特徵z，然後根據圖下的網絡計算出的權重對三個特徵加權連接，生成新的圖像。
與其它論文類似，每一個gan網絡的損失函數由三部分組成，gan的損失，cyclegan的損失，類內標籤損失。這裏再解釋一下類內標籤損失，即生成後的圖像和原圖像還是同一個人的特徵。損失函數如下所示：
權重計算方法：
作者認爲，三個gan對應的損失越大，那麼該圖像的這個維度與生成的圖像的關聯越小。所以，在訓練的過程中，作者使用損失的倒數作爲三個維度的權重，以獲得訓練時的標籤。訓練的輸入是圖像對，一張來自源域，一張來自目標域。
總結：這篇文章從三個角度進行數據風格遷移，是一個亮點。然而在一些細節方面介紹的實在不夠清楚，可能是受困於會議文章的長度。
完
歡迎討論 歡迎吐槽