DensePose閱讀筆記

論文貢獻:

1.數據集的製作:通過收集SMPL模型和COCO數據集中出現的人之間的密集對應關係的數據;

2.通過訓練基於CNN的系統,實現了“in thewild”的圖像上像素點到人體3維圖的密集對應;

3.提出了一個新的方法來訓練模型;通過每張圖像的隨機採樣作爲一個子集,來訓練一個教練網絡(teacher network),來作爲圖像中其他像素的監督;

2.數據集的介紹:DensePose-COCO Dataset

2.1 Annotation System(註釋系統)

第一階段,註釋者標註身體的部位區域,包括:頭、軀幹、上臂/下臂、小腿/大腿 、手、腳;(爲了使用簡化的UV參數化,將部件設計爲與平面同構,將肢體和軀幹分爲上下和前後兩個部分),

第二階段,對每個部位進行採樣,通過k-means方法來獲得一組大致等距的點,註釋者將這些點與表明相對應;

2.2Accuracy of human annotators(註釋系統的準確率)

i:準確的人體表明點, :註釋系統標註的點,:策略兩個點之間的距離(the geodesic distance)

2.3Evaluation Measures

方法1:Pointwise evaluation(逐點評估),

方法2:Per-instance evaluation(對每個實例單獨評估)

geodesic point similarity (GPS):

3.模型訓練

3.1Fully-convolutional dense pose regression

第一步:分類任務;對像素點進行分類,論文中將像素點分爲25類(一類爲背景)

第二步:迴歸;訓練24個迴歸模型,計算出像素在身體部位的精確位置

3.2Region-based Dense Pose Regression

 3.3Multi-task cascaded architectures

3.4Distillation-based ground-truth interpolation

觀察發生,通過在原始未標註的位置添加關鍵點,模型可以取得更好的效果;(增加各個部位的標註點)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章