Unsupervised domain adaptation with residual transfer networks(NIPS 2016)

Long, Mingsheng, et al. “Unsupervised domain adaptation with residual transfer networks.” Advances in Neural Information Processing Systems. 2016.

問題：

domain adaptation用於分類問題。其中source domain具有label，target domian無label。

文章假設：

We relax a shared-classifier assumption made by previous methods and assume that the source classifier and target classifier differ by a residual function.

網路結構 (Residual Transfer Network (RTN))

一般domain adaptation 用於分類任務的網路結構是一個特徵提取器+分類器：

文章對於source domain和target domain採用不同的分類器結構

即source domain的分類器較target domain多了一個參差塊

$f_S(x)=f_T(x)+\Delta f(x)$

其中

$f_s(x)=\sigma(f_S(x)),f_t(x)=\sigma(f_T(x))$爲激活值。

這樣可以根據source domain裏面的label進行訓練，如果設置成
$f_T(x)=f_S(x)+\Delta f(x)$則沒法訓練。

殘差塊的特性保證了$|\Delta f(x)| \ll |f_T(x)| \approx |f_S(x)|$

也就是說保證了target和source classifier 不會偏離太多

與此同時，爲了保證遷移到target domain後的性能，還是根據最小熵原則去調整分類器的遷移

損失函數

分類損失

where $L(·, ·)$ is the cross-entropy loss function

MMD penalty

這裏$z_i$指的是第i個樣本$x_i$,各層輸出值的按=element-wise 乘積:

$z_i = \otimes_{\mathcal{l} \in L} x_i^{\mathcal{l}}$

$k(x,y)$爲高斯核函數，見下圖：

文章說這樣做的好處是捕捉到多層特徵間的關聯，並且便於模型選取。

entropy penalty

前面已講

參數選擇