論文筆記22 -- （Vehicle ReID）Multi-Domain Learning and Identity Mining for Vehicle Re-Identification

《Multi-Domain Learning and Identity Mining for Vehicle Re-Identification》

羅浩等大神在CVPR2020 AI City Challenge挑戰賽中車輛ReID任務的方案。

@inproceedings{he2020multi,
 title={Multi-Domain Learning and Identity Mining for Vehicle Re-Identification},
 author={He, Shuting and Luo, Hao and Chen, Weihua and Zhang, Miao and Zhang, Yuqi and Wang, Fan and Li, Hao and Jiang, Wei},
 booktitle={Proc. CVPR Workshops},
 year={2020}
}

論文：點這裏

代碼： 點這裏，有代碼依然是件很關鍵的事情！！！

Workshop：點這裏

Abstract

本文介紹了針對AI City Challenge 2020（AICITY20）的Track2的解決方案。Track2是具有真實數據和合成數據的車輛重識別（ReID）任務。

本文方案基於作者在person ReID任務上提出的baseline with bag of tricks (BoT-BS)。首先，提出了一種多域學習（multi-domain learning）方法，用來結合真實數據和合成數據來訓練模型。然後，提出了ID挖掘（Identity Mining）方法來爲部分測試數據自動生成僞標籤，這比 k-means聚類更好。使用具有加權特徵的小段軌跡級別（tracklet-level）的re-ranking策略對結果進行後處理。最後，使用多模融合（multiple-model ensemble），本文方法的mAP達到0.7322，在比賽中排名第三。

1. Introduction

AI City Challenge是CVPR2020的一個研討會。它專注於不同的計算機視覺任務，以使城市的交通系統更具智能。本文介紹了Track2的解決方案，即城市規模的多攝像機車輛重識別（ReID）。

2. Related Works

2.1. Deep ReID

2.2. AICITY19

由於AICITY20是從AI CITY Challenge 2019（AICITY19）發展而來的，作者表示AICITY19的某些方法對他們的解決方案很有幫助。舉辦方在[15]中概述了一些團隊的方法。由於可以在AICITY19中使用一些外部數據，因此去年有很多不同的想法。Tan等 [21]使用了一種基於從卷積神經網絡中提取視覺特徵，並從行進方向和車輛類型分類中利用語義特徵的方法。Huang等[7]利用車輛的語義屬性來聯合訓練帶有ID標籤的模型。此外，一些團隊還使用了預訓練的模型來提取車輛姿態，從而可以推斷出方向信息[7，9]。 許多團隊使用re-ranking方法作爲後處理來提高ReID的性能[7、9、6、19]。一些團隊將外部數據和附加標註添加到了訓練模型中，但是在AICITY20中不允許這樣做。

3. Methods

3.1. Baseline Model

3.2. Multi-Domain learning

在本節中，將介紹一種多域學習（multi-domain learning，MDL）方法來利用合成數據。

比賽同時提供了真實數據和合成數據，因此如何從兩個不同域學習判別性特徵是一個重要的問題。爲方便起見，真實數據和合成數據/域分別表示爲$\ D_R$和$\ D_S$。目標是在$\ D_R∪D_S$上訓練模型，並使其在$\ D_R$上獲得更好的性能。有兩種簡單的解決方案，如下所示：

• 解決方案1：合併真實數據和合成數據，直接訓練ReID模型；
• 解決方案2：首先在合成數據$\ D_S$上訓練一個預訓練模型，然後在真實數據$\ D_R$上微調該預訓練模型。

但是，這兩個解決方案在比賽中不起作用。由於$\ D_S$中的數據量比$\ D_R$大得多，因此Solution-1會使模型更偏向$\ D_S$。由於$\ D_R$和$\ D_S$之間存在很大偏差，因此對於CityFlow數據集，$\ D_S$上的預訓練模型可能不會比ImageNet上的預訓練模型更好。因此，解決方案2不是解決此問題的好方法。然而，一些工作使用了在Veri-776，VehicleID或CompCar數據集上的預訓練模型，在AI CITY Challenge 2019中獲得了更好的性能，這表明在合理數據上訓練的預訓練模型是有效的。基於上述討論，我們提出了一種新穎的MDL方法來利用合成數據VehicleX。所提出的方法包括兩個階段，即預訓練階段和微調階段。

Pre-trained Stage. 真實數據$\ D_R$的所有訓練數據都表示爲圖像集$\ R$。然後，從合成數據$\ D_S$中隨機抽取一部分ID，以構建新的圖像集$\ S$。模型在新訓練集$\ R∪S$ 上進行預訓練。爲了確保預訓練模型不偏向$\ D_S$，$\ S$的ID數不大於$\ R$的數目。將$\ S$的ID數設爲100可以獲得很高的性能，只需要選擇$\ D_S$的前100個ID。

Fine-tuning Stage. 爲了進一步提升在$\ D_R$上的性能，作者對這個預訓練模型進行了fine-tune，沒有用$\ S$。儘管$\ D_R$和$\ D_S$之間存在很大的域偏差，但在這兩個域中共享了諸如顏色和紋理之類的低級特徵。因此，爲了在fine-tune階段保留低級特徵，凍結了預訓練模型的前兩層。這裏降低學習率也是有必要的。

3.3. Identity Mining