步態識別問題簡介
任務介紹
步態識別是生物特徵識別方法的一種。其基本目標是通過獲取一段待檢測行人正常行走的視頻，與已經存儲好的行人行走視屏做對比，找出待檢測行人的對應於數據庫中人物的身份。其優點在於檢測的過程無感、非接觸、不需要其它人爲參與。
在數據庫中存儲的視頻被稱爲gallery，用來作爲測試輸入、待匹配的視頻成爲prob。
GEI
步態識別任務的一個重要問題是特徵的提取。爲了用簡單的方法提取出視屏中有用的信息，目前常用的方法是提取步態能量圖(Gait Energy Image, GEI)。
其提取方法是：
1. 在視頻中檢測行人位置，使用分割/Matting/背景建模等方式得到行人的掩膜(mask)，或行人輪廓(silhouette);
2. 將含有行人的部分圖片切割出來，使用幾何重心或者其他固定的點對各幀的掩膜進行對其；
3. 將各個幀的掩膜進行相加平均，即得到GEI。
其過程如圖所示：
該方法較爲簡單，但是相比其他特徵更加穩定和有效[1]。
一些文章也在GEI的基礎上探索更優的特徵表達。
如[2]中，作者使用三維卷積來處理視頻中各幀的行人輪廓，同時在討論中認爲使用LSTM等模型來處理此時序信息會更加有效。
[3]中作者使用GAN生成跨視角的GEI，以較偏的、步態信息較少的視角的GEI作爲輸入，生成行人側面(90°)的GEI。
常見數據庫介紹
CASIA-B
該數據庫[4]是2005年提出的。數據庫中包含了124個不同身份的行人，包括31位女性和93位男性。針對每個行人，數據庫包含了從11個視角拍攝的視頻(0°,18°,36°,…,180°)。每個視角包括了10個視頻。因此每個行人共有110個視頻與其對應。
這10個視頻裏，6個是正常視頻（簡稱爲NM，其中4個爲gallery，2個爲prob），2個穿大衣視頻（簡稱爲CL，均爲prob），2個帶包視頻（簡稱爲BG，均爲prob）。
該數據庫的特點是視角最多，而且包含了不同的行走狀態（穿衣與帶包）。
OU-ISIR
該數據庫[1]共有4007個不同的行人。每個人有2個視頻，一個作gallery，一個作prob。總共有四個視角(55°, 65°, 75°, 85°)，可能不同人的視角不同。
該數據庫的特點是行人身份種類衆多，但是每個人的視頻的視角、行走狀態差別較小。
USF
該數據庫[5]共有122個人。每個個體不同的視頻有五個不同因素：2種鞋子種類、2種拿東西的狀態、2種地面種類、2種視角、2種錄製時間。
這五種因素相互排列組合，組成32個視頻。
該數據庫在室外複雜場景錄製，因此GEI更爲嘈雜。
Reference
[1] H. Iwama, M. Okumura, Y. Makihara, and Y. Yagi, “The OU-ISIR gait database: Comprising the large population dataset and performance evaluation of gait recognition,” IEEE Trans. Information Forensics and Security, vol. 7(5), pp. 1511–1521, 2012.
[2] Z. Wu, Y. Huang, L. Wang, X. Wang, and T. Tan, “A Comprehensive Study on Cross-View Gait Based Human Identification with Deep CNNs”, IEEE Trans. Pattern Analysis and Machine Intelligence, 2016.
[3] S. Yu, H. Chen, E.G. Reyes and N. Poh, “GaitGAN: Invariant Gait Feature Extraction Using Generative Adversarial Networks”, in CVPR 2017 Biometrics Workshop, 2017.
[4] S. Yu, D. Tan, and T. Tan. A framework for evaluating the effect of view angle, clothing and carrying condition on gait recognition. In ICPR, pages 441–444, August 2006.
[5] S. Sarkar, P. J. Phillips, Z. Liu, I. R. Vega, P. Grother, and K. W. Bowyer,“The humanID gait challenge problem: Data sets, performance, and analysis,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol.
27(2), pp. 162–177, Feb. 2005.
