Long, Mingsheng, et al. “Unsupervised domain adaptation with residual transfer networks.” Advances in Neural Information Processing Systems. 2016.
问题:
domain adaptation用于分类问题。其中source domain具有label,target domian无label。
文章假设:
We relax a shared-classifier assumption made by previous methods and assume that the source classifier and target classifier differ by a residual function.
网路结构 (Residual Transfer Network (RTN))
一般domain adaptation 用于分类任务的网路结构是一个特征提取器+分类器:
文章对于source domain和target domain采用不同的分类器结构
即source domain的分类器较target domain多了一个参差块
其中
为激活值。
这样可以根据source domain里面的label进行训练,如果设置成
则没法训练。
残差块的特性保证了
也就是说保证了target和source classifier 不会偏离太多
与此同时,为了保证迁移到target domain后的性能,还是根据最小熵原则去调整分类器的迁移
损失函数
分类损失
where is the cross-entropy loss function
MMD penalty
这里指的是第i个样本,各层输出值的按=element-wise 乘积:
为高斯核函数,见下图:
文章说这样做的好处是捕捉到多层特征间的关联,并且便于模型选取。
entropy penalty
前面已讲