** Sun, Baochen, and Kate Saenko. “Deep coral: Correlation alignment for deep domain adaptation.” ECCV. Springer, Cham, 2016. **
结构如图:
![在这里插入图片描述]()
两个损失函数:
![在这里插入图片描述]()
其中LCLASS为分类损失,LCORAL:
![在这里插入图片描述]()
CS和CT为样本协方差 (二阶统计量),反映了feature map上各位置的相关性。 其中D_S矩阵的每一行代表代表一个feature map。CS和CT的行数=CS和CT的列数=feature map维度。
![在这里插入图片描述]()
CORAL Loss系数为0时,训练过程中CORAL distance测量值变化情况:
![在这里插入图片描述]()
上图证明了CORAL Loss的有效性。
![在这里插入图片描述]()
![在这里插入图片描述]()
原文表明:没有CORAL Loss直接fine-tuning容易对source domain的数据过拟合。
这里复习下样本方差为无偏估计量:
S2=n∑(xi−xˉ)2
证明:
E(s2)=n−11E[∑(xi−xˉ)2]=n−1∑E(xi2−2xˉxi+xˉ2)=n−1nE2(x)−2nE(xˉ2)+nE(xˉ2)=n−1nE2(x)−nE(xˉ2)=n−1nE2(x)−nD(xˉ)−nE2(xˉ)=n−1nE2(x)−nD(xˉ)−nE2(x)=n−1nE2(x)−nE2(x)−nD(xˉ)=n−1nD(x)−nnD(x)=D(x)
注意:
E(x)∑(−2E(xi)E(x)D(xˉ)̸=xˉxˉ)̸=−2nE(x)=E(xˉ)=E(xˉ2)−E2(xˉ)
类似于S2=n∑(xi−xˉ)2
样本协方差 =n−1∑(xi−xˉ)(yi−yˉ)=n−1∑xiyi−nxˉyˉ