图像去遮挡

1. 《Self-Supervised Scene De-occlusion》

本文最大的创新点在于自监督的训练方式。具体的,因为常用的分割数据集只有modal mask, 而没有标注好的遮挡物体Ground Truth(amodal mask), 所以作者故意将某示例随机叠加在当前示例上,人为的自主构造遮挡数据和对应遮挡mask伪标签用于训练遮挡物体重建网络。
遮挡物体重建步骤如下:

  1. 得到遮挡顺序图
  2. 根据顺序图重建amodal mask
  3. 再根据amodal mask实现内容重建
    在这里插入图片描述
    网络主体结构如下:
    训练阶段:
    PCNet-M用于重建amodal mask, 基于人为自主构造的遮挡数据标签对。两个case的结合训练是为了实现准确填充。
    PCNet-C用于实现内容重建,完成遮挡物体恢复,同样是基于人为构造的伪标签训练。
    在这里插入图片描述
    测试阶段:
    首先判断遮挡顺序。即对相邻两个物体,互相作为对方的遮挡体重建,重建后面积显著增大的是原始被遮挡物体。
    在这里插入图片描述
    得到遮挡顺序后,对任意物体,通过广义优先搜索获取其遮挡源,然后送入PCNet-M重建amodal mask(a),再利用PCNet-C,实现内容恢复(b)。
    在这里插入图片描述
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章