Person Re-identification based on Two-Stream Network with Attention and Pose Features 论文总结笔记

论文：基于注意力和姿势特征的双流网络行人重识别

1 摘要

由于姿态、模糊、遮挡等问题的存在，行人的重新识别(re-ID，Re-ID)目前仍是一项具有挑战性的任务。本文结合了姿态估计和注意力机制的优点，利用双流网络将注意力和姿态相结合。提出的方法主要包含两部分：

融合多层特征和注意力的空间特征：从多个语义层次提取特征具有更好的鲁棒性，因此，本文融合了中层和高层特征（GoogleNet）。然后通过自我注意力（self-attention）将全局信息关联起来。融合了中高层特征，语义信息更加丰富，使得注意力机制能够更好的聚焦于图片的重要区域。

聚合注意力流和姿态估计流特征：因为注意力机制可以自动的关注显著性的重要区域，导致过于关注身体的突出部位，忽略身体的边缘信息，因此，通过姿态进行引导，使注意力能够更好的关注身体的各个部位。

rank1 = 93.3%(Market1501) 85.5%(DukeMTMC-reID)

2 理论研究

2.1 主网络框架

2.2 特征融合

融合多层特征和注意力的空间特征
目的：提取局部显著性特征，以便于获得更丰富的特征表示。
操作：经过实验得出，融合inception-3b,4d,4e效果最好

2.2 self-attention

得到了特征，下一步就是进行注意力操作，self-attention的框架如图所示：

程序链接: https://blog.csdn.net/qq_37405118/article/details/106947689.
讲解链接: https://zhuanlan.zhihu.com/p/55741364.

2.3 pose estimattion

2.4 Bilinear Pooling

3 Loss