行人重識別之網絡設計
Interaction-and-Aggregation Network for Person Re-identification
原文鏈接
許久沒有看過在網絡結構上進行設計的行人重識別文章，這篇文章針對行人重識別圖像空間位置不匹配的問題設計了SIA模塊，爲了提取圖像中的細節特徵設計了CIA模塊，兩者結合成爲IA模塊，在深度網絡中即插即用，幾乎不會增加計算量，實驗結果較好。
SIA:
SIA分爲兩個部分，外觀關係部分和位置關係部分。
外觀關係部分：
如圖所示，對於每一張特徵圖，要計算出每一個點和其它點外觀的相關程度，所以計算每一個點和其餘所有點的乘積，這就構成了圖中紅色的map。但是一個點的視野有些狹小，所以有了黃色的2x2和藍色的3x3的map。將三個map乘積就得到了外觀關係的map。所以，最後的map的第i行就是特徵圖中第i個點和其它所有點的關係。如果有c個通道的特徵圖，那麼最後就會產生c個灰色的map。
位置關係部分：
僅僅計算外觀關係而不考慮位置關係不夠嚴謹，所以作者還要計算各個點之間的位置相關度。這個比較簡單可以直接利用高斯分佈進行描述，再進行歸一化就好了。如下所示，分別是兩個點使用高斯分佈計算的位置相關程度和歸一化公式。
計算完這兩個部分，就可以進行SIA最後的運算：
將兩部分的map進行點與點的乘法操作，然後對原始的特徵圖F進行加權，就得到了新的特徵圖E。
使用SIA可以使網絡自動發掘圖像的結構信息，換句話說，可以對行人姿態和尺度的變化具有一定的魯棒性。
如下圖所示，在行人圖像上任取五個點，然後得到五個點通過SIA得到的相關度熱圖，可以看出，網絡可以識別出相關的部位。
CIA:
作者的解釋是，在高級的特徵圖中，每一個通道的特徵圖都會代表一定的語義信息。所以發掘各個通道之間的關聯性可以進一步利用這些語義信息，從而發現圖像中一些諸如書包、鞋子、腰帶等的細節。有些牽強，但是有用就好。
如圖所示，三維特徵圖轉變爲二維，每一行或者一列代表一個通道。將上下兩個二維特徵圖進行矩陣乘法操作，就可以計算出各個通道之間的相關程度，得到圖中橘色色調的map，然後使用其對特徵圖進行加權，獲得新的特徵圖。
最後，作者將SIA和CIA進行連接，構成了IA，插進resnet50中，實現性能的提升，如下所示。
總結：網絡設計方面的文章，通常原理比較簡單，但是有很多細節方面要做到仔細考究。比如，插入幾個IA，插在哪些層，在IA中是SIA在前還是CIA在前，等等。這需要我們不斷培養自己科學的研究方法和編程能力。所以，發好文章還是需要一定的科學功底。共勉！
完
歡迎討論 歡迎吐槽