Pose-guided Visible Part Matching for Occluded Person ReID閱讀筆記

Paper：https://arxiv.org/abs/2004.00230

前言：本人閱讀的第二篇CVPR 2020關於ReID的論文。主要解決了遮擋行人重識別的問題，其中涉及了姿態估計、

摘要：遮擋行人重識別是一項具有挑戰性的任務，特別是在密集場景中，被遮擋者的外觀會隨着遮擋物體的不同而發生顯著的變化。爲了解決此問題，本文提出了姿態引導的可見部件匹配(PVPM)方法，該方法聯合姿態引導的注意力和自我挖掘部件的可見性在端到端的框架中學習顯著的特徵。具體來說，PVPM包括兩個關鍵組成部分，1，姿態引導注意力方法(PGA)通過匯合局部特徵以利用更多的顯著性的局部特徵；2，姿態引導可見性預測器(PVP)原來估計某一部件是否存在遮擋。由於被遮擋部分沒有精標準的標註，本文轉而利用正樣本對的部件相關性的特性和通過圖匹配自挖掘相關性分數。然後將相關性分數作爲可見性預測器的假定標籤。實驗證明了有效性和SOTA。

知識點解析：

遮擋行人重識別的兩大挑戰。1，對於傳統的基於完整圖像監督的行人重識別不僅涉及目標行人的信息還包括遮擋的干擾。不同的遮擋，如顏色，位置和大小等，增加了獲得目標行人健壯特徵的難度；2，被遮擋的身體部位有時是更具有顯著辨別性的，而未被遮擋的區域則常常有通識性。在本文中提出了姿態引導可見部位匹配(PVPM)網絡來直接挖掘可見分數實現自我學習。PVPM主要包括兩個關鍵部分-姿態引導局部注意力網絡(PGA)和姿態引導可見性預測器(PVP)。PVP的訓練由僞標籤來監督，僞標籤的通過圖匹配解決特徵配對問題而得到的。最後，通過可見性分數加權身體部位的距離總和來計算最終的得分。本文創先點總結如下：1，本文提出了姿態引導的可見性部位匹配方法，在端到端的框架中聯合姿態引導注意力網絡和部位可見性預測器來學習顯著辨別的特徵。2，本文以自監督的方式訓練可見性預測模型，其中僞標籤的生成過程是一個可以由圖匹配解決的特徵對應問題。3，在多個遮擋數據集上展現了性能的優越性。

Pose-Guide Visible Part Matching：本文中，提出了姿態引導的可見部位匹配框架，該框架將局部特徵與可見分數結合已解決遮擋行人重識別任務的不匹配問題。整個框架包括姿態編碼器(PE)、姿態引導注意力掩碼生成器(PGA)、姿態引導可見分數預測器(PVP)和一種生成用於PVP訓練僞標籤的特徵相關性模型。

Part Features with Pose-Guide Attention：具有顯著辨別性的局部特徵在遮擋行人重識別中很重要，這也激發本文將外觀特徵和姿態引導注意力圖的融合以獲得肢體的局部特徵。姿態引導注意力機制包括三個部分--姿態估計、姿態編碼器和局部關注生成器。首先，利用姿態估計得到關鍵點熱度圖K和部件關聯區域 $L_{p}$ ；然後姿態編碼器以 $P = K \bigoplus L_{p}$ 作爲輸入，再將姿態信息嵌入到高級姿態特徵 $F_{pose}$ ；對關注特定身體部位的局部關注生成器，即1*1的卷積層和Sigmoid函數作用於 $F_{pose}$ ，生成一堆2維的特徵圖A，A中的每一個元素 $a_{i}^{h,w}$ 表示特徵圖F中(h， w)位置上第i個局部的值。

爲了使組合的特徵表示更加健壯和魯邦，本文使網絡聚焦在不重疊的區域，這樣每個部分可以提取互補的特徵。因此本文只保留每個局部最大的激活值，公式如下：

這樣，局部i-th的特徵圖 $f_{i}$ 可以下式計算得到：

Pose-Guide Visibility Prediction：在得到局部特徵的行人表示後，計算距離的一種直觀方法是部位之間的距離之和。因此，合理的方法是隻建立同時可見部分之間的對應關係，並計算相應間的距離。其中PVP網絡包括GAP池化層、1*1卷積層、BN層和Sigmiod激活層。輸入是姿態特徵圖 $F_{pose}$ ：

測試階段計算公式爲：

Pseudo-Label Estimation by Graph Matching：

圖像裏的部位可見性是沒有標註信息的，因此才需要自動展示其可見性。對於一對正樣本圖像，1，對應可見的部位具有高相關性；2，對應可見部位的之間的連線具有高相關性。具體地，將某一圖像的局部特徵表示成node，相關性表示成edge。對於一對正樣本圖像，對應樣本i-th相關則爲1，否則爲0。edge和node的關係相似度值表示爲關聯矩陣M，其中相似性值利用內積計算得到。具體來說，M的對角線表示兩個node的相似性，