Unsupervised domain adaptation with residual transfer networks(NIPS 2016)

Long, Mingsheng, et al. “Unsupervised domain adaptation with residual transfer networks.” Advances in Neural Information Processing Systems. 2016.

问题:

domain adaptation用于分类问题。其中source domain具有label,target domian无label。

文章假设:

We relax a shared-classifier assumption made by previous methods and assume that the source classifier and target classifier differ by a residual function.

网路结构 (Residual Transfer Network (RTN))

在这里插入图片描述

一般domain adaptation 用于分类任务的网路结构是一个特征提取器+分类器:

文章对于source domain和target domain采用不同的分类器结构

即source domain的分类器较target domain多了一个参差块

fS(x)=fT(x)+Δf(x)f_S(x)=f_T(x)+\Delta f(x)

其中

fs(x)=σ(fS(x)),ft(x)=σ(fT(x))f_s(x)=\sigma(f_S(x)),f_t(x)=\sigma(f_T(x))为激活值。

这样可以根据source domain里面的label进行训练,如果设置成
fT(x)=fS(x)+Δf(x)f_T(x)=f_S(x)+\Delta f(x)则没法训练。

残差块的特性保证了Δf(x)fT(x)fS(x)|\Delta f(x)| \ll |f_T(x)| \approx |f_S(x)|

在这里插入图片描述
也就是说保证了target和source classifier 不会偏离太多

与此同时,为了保证迁移到target domain后的性能,还是根据最小熵原则去调整分类器的迁移

在这里插入图片描述

损失函数

在这里插入图片描述

分类损失

在这里插入图片描述

where L(,)L(·, ·) is the cross-entropy loss function

MMD penalty

在这里插入图片描述

这里ziz_i指的是第i个样本xix_i,各层输出值的按=element-wise 乘积:

zi=lLxilz_i = \otimes_{\mathcal{l} \in L} x_i^{\mathcal{l}}

k(x,y)k(x,y)为高斯核函数,见下图:
在这里插入图片描述
文章说这样做的好处是捕捉到多层特征间的关联,并且便于模型选取。

entropy penalty

前面已讲

参数选择

在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章