论文笔记22 -- （Vehicle ReID）Multi-Domain Learning and Identity Mining for Vehicle Re-Identification

《Multi-Domain Learning and Identity Mining for Vehicle Re-Identification》

罗浩等大神在CVPR2020 AI City Challenge挑战赛中车辆ReID任务的方案。

@inproceedings{he2020multi,
 title={Multi-Domain Learning and Identity Mining for Vehicle Re-Identification},
 author={He, Shuting and Luo, Hao and Chen, Weihua and Zhang, Miao and Zhang, Yuqi and Wang, Fan and Li, Hao and Jiang, Wei},
 booktitle={Proc. CVPR Workshops},
 year={2020}
}

论文：点这里

代码： 点这里，有代码依然是件很关键的事情！！！

Workshop：点这里

Abstract

本文介绍了针对AI City Challenge 2020（AICITY20）的Track2的解决方案。Track2是具有真实数据和合成数据的车辆重识别（ReID）任务。

本文方案基于作者在person ReID任务上提出的baseline with bag of tricks (BoT-BS)。首先，提出了一种多域学习（multi-domain learning）方法，用来结合真实数据和合成数据来训练模型。然后，提出了ID挖掘（Identity Mining）方法来为部分测试数据自动生成伪标签，这比 k-means聚类更好。使用具有加权特征的小段轨迹级别（tracklet-level）的re-ranking策略对结果进行后处理。最后，使用多模融合（multiple-model ensemble），本文方法的mAP达到0.7322，在比赛中排名第三。

1. Introduction

AI City Challenge是CVPR2020的一个研讨会。它专注于不同的计算机视觉任务，以使城市的交通系统更具智能。本文介绍了Track2的解决方案，即城市规模的多摄像机车辆重识别（ReID）。

2. Related Works

2.1. Deep ReID

2.2. AICITY19

由于AICITY20是从AI CITY Challenge 2019（AICITY19）发展而来的，作者表示AICITY19的某些方法对他们的解决方案很有帮助。举办方在[15]中概述了一些团队的方法。由于可以在AICITY19中使用一些外部数据，因此去年有很多不同的想法。Tan等 [21]使用了一种基于从卷积神经网络中提取视觉特征，并从行进方向和车辆类型分类中利用语义特征的方法。Huang等[7]利用车辆的语义属性来联合训练带有ID标签的模型。此外，一些团队还使用了预训练的模型来提取车辆姿态，从而可以推断出方向信息[7，9]。 许多团队使用re-ranking方法作为后处理来提高ReID的性能[7、9、6、19]。一些团队将外部数据和附加标注添加到了训练模型中，但是在AICITY20中不允许这样做。

3. Methods

3.1. Baseline Model

3.2. Multi-Domain learning

在本节中，将介绍一种多域学习（multi-domain learning，MDL）方法来利用合成数据。

比赛同时提供了真实数据和合成数据，因此如何从两个不同域学习判别性特征是一个重要的问题。为方便起见，真实数据和合成数据/域分别表示为$\ D_R$和$\ D_S$。目标是在$\ D_R∪D_S$上训练模型，并使其在$\ D_R$上获得更好的性能。有两种简单的解决方案，如下所示：

• 解决方案1：合并真实数据和合成数据，直接训练ReID模型；
• 解决方案2：首先在合成数据$\ D_S$上训练一个预训练模型，然后在真实数据$\ D_R$上微调该预训练模型。

但是，这两个解决方案在比赛中不起作用。由于$\ D_S$中的数据量比$\ D_R$大得多，因此Solution-1会使模型更偏向$\ D_S$。由于$\ D_R$和$\ D_S$之间存在很大偏差，因此对于CityFlow数据集，$\ D_S$上的预训练模型可能不会比ImageNet上的预训练模型更好。因此，解决方案2不是解决此问题的好方法。然而，一些工作使用了在Veri-776，VehicleID或CompCar数据集上的预训练模型，在AI CITY Challenge 2019中获得了更好的性能，这表明在合理数据上训练的预训练模型是有效的。基于上述讨论，我们提出了一种新颖的MDL方法来利用合成数据VehicleX。所提出的方法包括两个阶段，即预训练阶段和微调阶段。

Pre-trained Stage. 真实数据$\ D_R$的所有训练数据都表示为图像集$\ R$。然后，从合成数据$\ D_S$中随机抽取一部分ID，以构建新的图像集$\ S$。模型在新训练集$\ R∪S$ 上进行预训练。为了确保预训练模型不偏向$\ D_S$，$\ S$的ID数不大于$\ R$的数目。将$\ S$的ID数设为100可以获得很高的性能，只需要选择$\ D_S$的前100个ID。

Fine-tuning Stage. 为了进一步提升在$\ D_R$上的性能，作者对这个预训练模型进行了fine-tune，没有用$\ S$。尽管$\ D_R$和$\ D_S$之间存在很大的域偏差，但在这两个域中共享了诸如颜色和纹理之类的低级特征。因此，为了在fine-tune阶段保留低级特征，冻结了预训练模型的前两层。这里降低学习率也是有必要的。

3.3. Identity Mining