1607.CVPR-Joint Learning of Single-image and Cross-image Representations for Person ReID 論文筆記

作者將reid任務按照最終測度方法的不同,分成了兩類:即按照距離loss訓練方法的SIR(single-image representation)和按照對比loss訓練網絡的CIR(cross-image representation),作者提出了一種卷積神經網絡框架,可以將兩類方法整合到一個框架裏,進行聯合訓練,最終以得分和閾值設置的形式應用訓練好的模型。這樣可以提升匹配率的直覺上的原因:
SIR特徵可以提前被預處理提取得到,僅僅需要做距離或相似度的計算來匹配圖像,匹配效率更好
CIR方法可以更有效的建模probe和gallery之間的關係,本質也是學習一種度量矩陣,但特徵提取過程,對空間位移和視角變化更具魯棒性。
因此,在不增加太大計算代價的情況下,作者考慮結合SIR和CIR可能會得到更好的綜合性能表現。

以二元組圖像對輸入爲例,框架如下:
這裏寫圖片描述

具體的模型結構設置:
The Pairwise model combine with SIR+CIR
這裏寫圖片描述

框架介紹:
如圖,以二元組圖像對輸入爲例,SIR子網絡和CIR網絡共享一個基本的卷積特徵提取,以降低計算代價,SIR子網絡從每個圖片的每個特徵圖中提取特徵表達描述子,而CIR本質上還是從每兩幅圖像的兩個特徵圖中提取整合的特徵表達,採用SIR對應的距離loss和CIR對應由標準二分類SVM拓展而來的二元組分類loss來分別指導學習SIR子網絡和CIR子網絡參數,採用由這兩loss加權的整體loss來訓練得到包括共享卷積部分的整個網絡的參數。

Pairwise Comparison Formulation
包括:z爲提取到的特徵向量, ξ爲類似SVM中用的鬆弛變量,L爲loss,b,α,和η都是trade-off參數,需要交叉驗證法設置合適的經驗參數。
這裏寫圖片描述

這裏寫圖片描述

作者尋找了SIR和CIR之間的聯繫,推導如下:
基於SIR的歐式距離計算可以被視爲CIR分類得分計算的特例,而還有像reid中常用的馬氏距離,聯合貝葉斯和LADF等距離或相似度度量方法也可以被視爲CIR分類得分計算的特例。我們可以通過得分與閾值的比較,比較兩圖像否爲同一ID。
CIR分類得分計算,公式:
f代表單圖像輸入提取特徵的卷積網絡,x爲圖像,g爲圖像對輸入的特徵提取網絡,s爲應用網絡得到的特徵比對得分,w和b爲分類器參數,類似於SVM中的w,b。
這裏寫圖片描述
歐式距離:L2範數距離得分
這裏寫圖片描述

馬氏距離:度量學習M矩陣,學習M就類似於學習w
這裏寫圖片描述
聯合貝葉斯的概率測度得分計算:實質是更一般化的馬氏距離
這裏寫圖片描述
LADF:
這裏寫圖片描述


然後,作者拓展了框架,得到整合的三元組輸入的結構The triplet model combine with SIR+CIR
這裏寫圖片描述
Triplet Comparison Formulation
這裏寫圖片描述
這裏寫圖片描述


實驗
應用訓練的模型,計算得分,依據:
這裏寫圖片描述

即作者設計了三種計算得分來做匹配實驗:
1.The pairwise model combine with SIR+CIR:Score1
2.The triplet model combine with SIR+CIR:Score2
3.用兩個被訓練的模型的融合:Score3=Score1+µScore2

在cuhk03上的實驗對比:
這裏寫圖片描述

另外,作者在cuhk01,cuhk03及VIPer上和現有一些的方法做了實驗對比,有明顯的效果提升。
這裏寫圖片描述

這裏寫圖片描述

這裏寫圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章