Disentangled Image Matting阅读笔记(二)

会议:ICCV-2019

概述:

大部分先前的图像抠图方法都需要输入一个粗略的trimap,来估计未知区域的alphad1值,论文认为trimap是粗略的,而之前的模型将trimap作为输入,试图估计一个好的蒙版,存在一个回归问题;

AdaMatting一个新的端到端的图像修复框架,将任务分解为两个子任务 trimap adaptation 和 alpha estimation

trimap adaptation:

一个像素分类问题,通过识别图像的前景区域、背景区域、半透明区域来推断图像的结构

alpha estimation:

一个回归问题,计算每一个混合像素的值

1.介绍

输入图像可以被建模为前景与背景颜色的线性组合:

 论文认为以前的论文以trimap作为输入,存在不够精确的问题,且一个分类问题不足以解决图像抠图问题;

未知区域的像素可以分为三种:不透明的前景、不透明的背景、和半透明的混合像素,而图像抠图的目的是不透明像素生成精确的0,1,而半透明像素精确估计混合像素值,故而将该任务分解为trimap adaptation-未知像素的分类问题和alpha estimation-混合像素值的估计问题;

现在的方法过度依赖低维特征,比如颜色分布、上下文,缺乏对高维信息——语义的使用

2.相关工作

自然图像抠图

Trimap生成

多任务学习

3方法

 

trimap adaptation:

蒙版值代表的含义:

根据 的定义,图像抠图自然可以分为两步:1.决定蒙版像素值是1,0或其他;2.精确计算半透明区域的值

网络概述

有一个编码网络,两个解码网络(分别对应trimap adaptation 和 alpha estimation),一个propagation单元组成

网络以图像与对应的trimap 联合作为输入,首先经过编码网络(ResNet-50)生成特征图,然后经过两个解码网络(由3*3的卷积层和上采样模块组成),trimap解码(T-Decoder)输出3通道的分类图,alpha解码(A-Decoder)输出1通道的蒙版值

多任务自动编码

基于U-Net并加入global convolutions来扩大感受野

propagation单元

由两个ResBlocks和一个LSTM cell组成

损失函数

T和 α分别为T-Decoder和A-Decoder的输出,σ1 和 σ2为两个任务的权重参数,LT (交叉熵损失)and Lα(L1正则化损失)分别为trimap解码、alpha解码的损失

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章