論文貢獻:
1.數據集的製作:通過收集SMPL模型和COCO數據集中出現的人之間的密集對應關係的數據;
2.通過訓練基於CNN的系統,實現了“in thewild”的圖像上像素點到人體3維圖的密集對應;
3.提出了一個新的方法來訓練模型;通過每張圖像的隨機採樣作爲一個子集,來訓練一個教練網絡(teacher network),來作爲圖像中其他像素的監督;
2.數據集的介紹:DensePose-COCO Dataset
2.1 Annotation System(註釋系統)
第一階段,註釋者標註身體的部位區域,包括:頭、軀幹、上臂/下臂、小腿/大腿 、手、腳;(爲了使用簡化的UV參數化,將部件設計爲與平面同構,將肢體和軀幹分爲上下和前後兩個部分),
第二階段,對每個部位進行採樣,通過k-means方法來獲得一組大致等距的點,註釋者將這些點與表明相對應;
2.2Accuracy of human annotators(註釋系統的準確率)
i:準確的人體表明點, :註釋系統標註的點,:策略兩個點之間的距離(the geodesic distance)
2.3Evaluation Measures
方法1:Pointwise evaluation(逐點評估),
方法2:Per-instance evaluation(對每個實例單獨評估)
geodesic point similarity (GPS):
3.模型訓練
3.1Fully-convolutional dense pose regression
第一步:分類任務;對像素點進行分類,論文中將像素點分爲25類(一類爲背景)
第二步:迴歸;訓練24個迴歸模型,計算出像素在身體部位的精確位置
3.2Region-based Dense Pose Regression
3.3Multi-task cascaded architectures
3.4Distillation-based ground-truth interpolation
觀察發生,通過在原始未標註的位置添加關鍵點,模型可以取得更好的效果;(增加各個部位的標註點)