Person Re-identification based on Two-Stream Network with Attention and Pose Features 論文總結筆記

論文:基於注意力和姿勢特徵的雙流網絡行人重識別

1 摘要

由於姿態、模糊、遮擋等問題的存在,行人的重新識別(re-ID,Re-ID)目前仍是一項具有挑戰性的任務。本文結合了姿態估計和注意力機制的優點,利用雙流網絡將注意力和姿態相結合。提出的方法主要包含兩部分:

融合多層特徵和注意力的空間特徵:從多個語義層次提取特徵具有更好的魯棒性,因此,本文融合了中層和高層特徵(GoogleNet)。然後通過自我注意力(self-attention)將全局信息關聯起來。融合了中高層特徵,語義信息更加豐富,使得注意力機制能夠更好的聚焦於圖片的重要區域。

聚合注意力流和姿態估計流特徵:因爲注意力機制可以自動的關注顯著性的重要區域,導致過於關注身體的突出部位,忽略身體的邊緣信息,因此,通過姿態進行引導,使注意力能夠更好的關注身體的各個部位。

rank1 = 93.3%(Market1501) 85.5%(DukeMTMC-reID)

2 理論研究

2.1 主網絡框架

在這裏插入圖片描述

2.2 特徵融合

融合多層特徵和注意力的空間特徵
目的:提取局部顯著性特徵,以便於獲得更豐富的特徵表示。
操作:經過實驗得出,融合inception-3b,4d,4e效果最好

在這裏插入圖片描述
在這裏插入圖片描述

2.2 self-attention

得到了特徵,下一步就是進行注意力操作,self-attention的框架如圖所示:

在這裏插入圖片描述

程序鏈接: https://blog.csdn.net/qq_37405118/article/details/106947689.
講解鏈接: https://zhuanlan.zhihu.com/p/55741364.

在這裏插入圖片描述
在這裏插入圖片描述

2.3 pose estimattion

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

2.4 Bilinear Pooling

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

3 Loss

在這裏插入圖片描述
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章