Deep coral: Correlation alignment for deep domain adaptation. ECCV 2016. Domain Adaptation

** Sun, Baochen, and Kate Saenko. “Deep coral: Correlation alignment for deep domain adaptation.” ECCV. Springer, Cham, 2016. **

结构如图:

在这里插入图片描述

两个损失函数:

在这里插入图片描述

其中LCLASS\mathcal{L}_{CLASS}为分类损失,LCORAL\mathcal{L}_{CORAL}:

在这里插入图片描述

CSC_SCTC_T为样本协方差 (二阶统计量),反映了feature map上各位置的相关性。 其中D_S矩阵的每一行代表代表一个feature map。CSC_SCTC_T的行数=CSC_SCTC_T的列数=feature map维度。

在这里插入图片描述

CORAL Loss系数为0时,训练过程中CORAL distance测量值变化情况:
在这里插入图片描述
上图证明了CORAL Loss的有效性。
在这里插入图片描述

在这里插入图片描述

原文表明:没有CORAL Loss直接fine-tuning容易对source domain的数据过拟合。

这里复习下样本方差为无偏估计量:

S2=(xixˉ)2n S^2= \frac{\sum (x_i - \bar{x} )^2 }{n}

证明:
E(s2)=1n1E[(xixˉ)2]=E(xi22xˉxi+xˉ2)n1=nE2(x)2nE(xˉ2)+nE(xˉ2)n1=nE2(x)nE(xˉ2)n1=nE2(x)nD(xˉ)nE2(xˉ)n1=nE2(x)nD(xˉ)nE2(x)n1=nE2(x)nE2(x)nD(xˉ)n1=nD(x)nD(x)nn1=D(x) \begin{aligned} E(s^2)&= \frac{1}{n-1} E[ \sum(x_i -\bar{x})^2 ] \\ &=\frac{\sum E(x_i^2-2\bar{x}x_i +\bar{x}^2 ) }{n-1} \\ &=\frac{nE^2(x)-2nE(\bar{x}^2)+nE(\bar{x}^2)}{n-1} \\ &=\frac{nE^2(x)-nE(\bar{x}^2)}{n-1} \\ &=\frac{nE^2(x)-nD(\bar{x})-nE^2(\bar{x}) }{n-1} \\ &=\frac{nE^2(x)-nD(\bar{x})-nE^2(x) }{n-1} \\ &=\frac{nE^2(x)-nE^2(x) -nD(\bar{x})}{n-1} \\ &= \frac{nD(x)-\frac{nD(x)}{n}}{n-1}\\ &=D(x) \end{aligned}

注意:
E(x)xˉ(2E(xi)xˉ)2nE(x)E(x)=E(xˉ)D(xˉ)=E(xˉ2)E2(xˉ) \begin{aligned} E(x) &\neq \bar{x} \\ \sum (-2E(x_i) &\bar{x}) \neq -2nE(x) \\ E(x) &= E(\bar{x}) \\ D(\bar{x})&=E(\bar{x}^2)-E^2(\bar{x}) \end{aligned}

类似于S2=(xixˉ)2n S^2= \frac{\sum (x_i - \bar{x} )^2 }{n}

样本协方差 =(xixˉ)(yiyˉ)n1=xiyinxˉyˉn1= \frac{\sum (x_i-\bar{x}) (y_i-\bar{y}) }{n-1}= \frac{ \sum x_iy_i -n \bar{x}\bar{y} }{n-1}

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章