本文重點講損失函數和MMT框架的流程
其餘內容可參考Mutual Mean-Teaching：爲無監督學習提供更魯棒的僞標籤
下圖是單個網絡做無監督域適應的ReID框架。損失函數包括兩部分基於交叉熵的分類損失（Classification Loss）和三元損失函數（Triplet Loss），表達式如下：
各參數和符號的具體含義自行查閱...
下圖是MMT的框架，其損失函數除了上述兩個，重新定義了軟分類損失（Soft Classification Loss）和軟三元損失函數（Soft Triplet Loss）。首先，軟分類損失函數表達式如下所示，意思是平均模型預測的類別概率值與對方網絡預測的類別概率值的差異。
接着是MMT重新自定義的軟三元損失函數，意思是平均模型預測值與對方網絡預測值的差異。
綜上所述，MMT的損失函數包括四部分，硬分類損失 硬三元損失 軟分類損失 軟三元損失，硬損失是由網絡本身得到的，軟損失是由平均模型得到的。具體表達式如下：
下圖是算法流程，具體描述一下：
- 在源數據集上預訓練兩個模型Net 1和Net 2（兩個網絡的初始化參數不同），損失函數只有公式1和公式2，即公式3
- 將上述兩個預訓練模型在目標域計算特徵，並使用Kmeans聚類算法得到 hard pseudo labels
- Net 1和Net 2通過前向傳播計算得到硬分類損失和硬三元損失
- 計算兩個平均模型，並結合Net 1和Net 2輸出的特徵計算軟分類損失和軟三元損失
- 上述四個損失加權更新Net 1和Net 2
- 重複2，3，4，5
Reference paper：Mutual Mean-Teaching- Pseudo Label Refinery for Unsupervised Domain Adaptation on ReID