人體姿態估計——CPMs

論文:《Convolutional Pose Machines 》

1.概述

CPMs由一系列預測器組成,這些預測器經過訓練,可在每個圖像位置進行密集預測。
本文的主要貢獻包含:
a:使用級聯(sequential)卷積結構學習隱式空間模型。
b:系統地設計和訓練CPMs來學習圖像特徵和依賴圖像的空間模型(各個關節的關係)

2.CPMs的模型架構

在這裏插入圖片描述
CPM採用CNN的方式來進行特徵提取和上下文信息提取,以heatmap的形式表示預測結果(能夠保留空間信息),在全卷積的結構下使用中間監督進行端到端的訓練和測試,極大提高了關鍵點檢測的準確率。
Heatmap的好處: 在於空間位置信息的保存,這個非常重要。一方面,可以保留multi-modal的信息,比如沒有很好的context信息的情況下,是很難區分左右手的,所以圖片中左右手同時都可能有比較好的響應,這種heatmap的形式便於後續的cascade進行refinement優化。另外一個方面,人體姿態估計這個問題本身的自由度很大,直接regression的方式對自由度小的問題比如人臉landmark是比較適合的,但是對於自由度大的姿態估計問題整體的建模能力會比較弱。相反,heatmap是比較中間狀態的表示,所以信息的保存會更豐富。

3.參考
https://zhuanlan.zhihu.com/p/102468356
https://blog.csdn.net/shenxiaolu1984/article/details/51094959
https://zhuanlan.zhihu.com/p/56131599
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章