行人屬性“Generative Adversarial Models for People Attribute Recognition in Surveillance”

對於監控場景下的行人，圖片一般不清晰或被其他行人物體遮擋，可以進行圖像清晰化、去遮擋操作，提升屬性識別準確率。

相關工作
整個人體進行屬性的識別：ACN，DeepMAR；part-based models，R*CNN；MLCNN。

方法描述
1. 幾種方法對比
baseline方法：基於ResNet的行人屬性分類。
兩個生成對抗模型：重建被遮擋的人體部位，提高圖像分辨率。
2. 網絡描述
屬性預測網絡，結合行人部件可以提升識別率，將輸入圖像分解成幾塊：肩部以上，上半身，下半身及全身。四塊輸入到ResNet50網絡，獲得四個特徵圖。對ResNet50網絡進行了改造，使用全局平均池化替代最後一個7×7 平均池化。獲得特徵圖後，分成兩個屬性打分分支。第一個分支使用整體特徵圖，獲得整個人體的預測得分。第二個特徵圖計算每個塊的預測得分，並使用max操作選擇對應每個屬性最有意義的part。最終的屬性預測得分爲：

網絡結構如下圖所示：

網絡使用加權二值交叉熵損失訓練：

3. 重建網絡
移除人體遮擋，並使用人體部件替換。儘管替換的人體部件與可能與這個人的屬性不相干，移除遮擋後可以移除噪聲（解釋有點牽強）。
給定遮擋圖像IO ，訓練生成函數GR 估計重建圖像IR ，在訓練時，使用另外一張圖像隨機遮擋當前圖像生成訓練樣本。生成網絡訓練爲前向CNN GRθg 。解決如下問題：

此外，定義一個帶參θd 的辨別網絡DRθd 與GRθg 一起訓練，解決對抗問題：

生成網絡結構如下圖所示：

辨別網絡與生成網絡的解碼部分類似，濾波器的個數不同。
生成網絡的損失函數爲：LossR=LossSSE+λLossgen
LossSSE 是重建損失，基於像素級相似度的均方誤差，Lossgen 是對抗損失，鼓勵網絡生成更好的結果，如下定義：

4. 超分辨網絡
構建過程與重建網絡類似，訓練樣本使用下采樣生成。生成的訓練樣本爲：

實驗結果
baseline方法與其他方法的對比

重建網絡及超分辨網絡的性能：