【論文閱讀】CVPR 2019 Oral | Progressive Pose Attention Transfer for Person Image Generation

項目地址:

https://github.com/tengteng95/Pose-Transfer.git.

論文地址:

https://arxiv.org/abs/1904.03349#

論文簡介:

該文介紹了一個開源的人體姿態遷移算法,基於GAN(生成式對抗網絡)思想構建,實現的功能是——給定一幅含有人物的圖片和一個目標姿態,可以將圖片內人物轉換成目標姿態的樣子。目標姿態可以是從其他圖片人物中計算得來(可以將一幅圖片的人物轉成另一圖片內人物的姿態)。

算法原理:

算法的輸入包括:一幅給定圖片Condition image(Pc),從該圖片中使用已有的姿態估計算法Human Pose Estimator (HPE)

提取的姿態Condition Pose(Sc),以及目標姿態Target Pose(St)。

算法的輸出是:生成圖片。

作者提出了Progressive Pose Attention Transfer(PATN,漸進的姿態注意力遷移)模型。基於GAN思想構建算法。對於輸入的人物圖片和姿態,生成新的人體姿態圖片和姿態。其中使用了兩個判別器:紋理判別器、形狀判別器,來判斷生成器生成的人物圖片和姿態是否真實。

姿態遷移是由生成器完成。下圖是生成器的架構:

在PATN中含有多個Pose-Attentional Block,其作用是對輸入的image pathway和pose pathway按照Pose Mask(Mt),它引導網絡將圖片中人物的不同的部分按照目標姿態進行像素塊遷移。之後,把最後一個Block中Image Pathway的數據經過解碼網絡,即得到了最終的生成圖像。

實驗結果:

作者在DeepFashion與Martket-1501數據集上進行了實驗。在訓練階段,分別在這兩個數據集上構建了263632和101966樣本對。

分別進行了量化對比和主觀評判(人來評價)。

得出該算法的優勢有:

生成圖像效果好、參數量少、計算效率高。

此外,用該算法可以對行人圖片進行姿態遷移,爲行人重識別生成訓練圖片。使用這種增廣樣本訓練的行人重識別算法獲得了顯著的精度提升。

——————————————————————————————————————————————————

提升tips :

需要學習GAN基礎

需要學習pytorch

論文清晰易懂,層次分明,驗證有力,配圖詳實而不冗餘,好好跟人家學學!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章