Deep coral: Correlation alignment for deep domain adaptation. ECCV 2016. Domain Adaptation

** Sun, Baochen, and Kate Saenko. “Deep coral: Correlation alignment for deep domain adaptation.” ECCV. Springer, Cham, 2016. **

結構如圖：

兩個損失函數：

其中$\mathcal{L}_{CLASS}$爲分類損失，$\mathcal{L}_{CORAL}$:

$C_S$和$C_T$爲樣本協方差 (二階統計量)，反映了feature map上各位置的相關性。 其中D_S矩陣的每一行代表代表一個feature map。$C_S$和$C_T$的行數=$C_S$和$C_T$的列數=feature map維度。

CORAL Loss係數爲0時，訓練過程中CORAL distance測量值變化情況:

上圖證明了CORAL Loss的有效性。

原文表明：沒有CORAL Loss直接fine-tuning容易對source domain的數據過擬合。

這裏複習下樣本方差爲無偏估計量：

$S^2= \frac{\sum (x_i - \bar{x} )^2 }{n}$

證明:
$\begin{aligned} E(s^2)&= \frac{1}{n-1} E[ \sum(x_i -\bar{x})^2 ] \\ &=\frac{\sum E(x_i^2-2\bar{x}x_i +\bar{x}^2 ) }{n-1} \\ &=\frac{nE^2(x)-2nE(\bar{x}^2)+nE(\bar{x}^2)}{n-1} \\ &=\frac{nE^2(x)-nE(\bar{x}^2)}{n-1} \\ &=\frac{nE^2(x)-nD(\bar{x})-nE^2(\bar{x}) }{n-1} \\ &=\frac{nE^2(x)-nD(\bar{x})-nE^2(x) }{n-1} \\ &=\frac{nE^2(x)-nE^2(x) -nD(\bar{x})}{n-1} \\ &= \frac{nD(x)-\frac{nD(x)}{n}}{n-1}\\ &=D(x) \end{aligned}$

注意:
$\begin{aligned} E(x) &\neq \bar{x} \\ \sum (-2E(x_i) &\bar{x}) \neq -2nE(x) \\ E(x) &= E(\bar{x}) \\ D(\bar{x})&=E(\bar{x}^2)-E^2(\bar{x}) \end{aligned}$

類似於$S^2= \frac{\sum (x_i - \bar{x} )^2 }{n}$

樣本協方差 $= \frac{\sum (x_i-\bar{x}) (y_i-\bar{y}) }{n-1}= \frac{ \sum x_iy_i -n \bar{x}\bar{y} }{n-1}$