人体解析任务 和 Look into Person数据集 (附源码分享)

人体解析任务

人体解析(human parsing),属于语义分割任务的子任务,旨在对人类图像进行像素级的是细粒度分割(例如,划分出身体部位和服装)。根据不同的场景,又可以分为单人人体解析(single-person human parsing)和多人人体解析(multi-person human parsing,或者 instance-level human parsing)。除此之外,按照处理媒介分类,还可以分为基于图像的人体解析和基于视频的人体解析。

对于人体解析任务,常用的度量指标包括 Pixel accuracy(%) , Mean accuracy(%)Mean IoU(%) 和 Frequency weighted IoU(%).

多人人体解析

 

Look into Person数据集

Look into Person (LIP) 是一个大规模的人体语义解析数据集,它包括了带有像素级人体部位标注(19种人体部位类别)和2D姿势标注(16个关键点)的50000张图像。这50000张图像裁剪自COCO数据集中的人物实例,图像尺寸均大于50 * 50. 它们覆盖了真实世界的各种场景,包括姿势和视角的改变、严重的遮挡、变化的外观以及低分辨率。

实际上,该数据集可以分为四个部分,分别为:单人人体解析多人人体解析基于视频的多人人体解析基于图像的虚拟试衣。可以从该数据集官网中得到下载链接(包括百度云盘和谷歌云盘链接)。

在这里我们主要讨论第一个部分,即单人人体解析数据集。它包括了19种类别标签加上背景标签,所以一共是20种类别:

  1. Background
  2. Hat
  3. Hair
  4. Glove
  5. Sunglasses
  6. Upper-clothes
  7. Dress
  8. Coat
  9. Socks
  10. Pants
  11. Jumpsuits
  12. Scarf
  13. Skirt
  14. Face
  15. Left-arm
  16. Right-arm
  17. Left-leg
  18. Right-leg
  19. Left-shoe
  20. Right-shoe
LIP数据集样本实例

 

baseline代码分享

该baseline模型基于PSPNet,其中的特征提取主干可以选择resNet50、denseNet121、squeezeNet或者其它模型。

源码链接如下:

https://github.com/hyk1996/Single-Human-Parsing-LIP

如果觉得有帮助,欢迎star和fork,如果有需要的话我可以把训练好的模型也放出来。

实验结果和可视化如下:(可视化代码也包含在源码里了)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章