步态识别问题简介
任务介绍
步态识别是生物特征识别方法的一种。其基本目标是通过获取一段待检测行人正常行走的视频，与已经存储好的行人行走视屏做对比，找出待检测行人的对应于数据库中人物的身份。其优点在于检测的过程无感、非接触、不需要其它人为参与。
在数据库中存储的视频被称为gallery，用来作为测试输入、待匹配的视频成为prob。
GEI
步态识别任务的一个重要问题是特征的提取。为了用简单的方法提取出视屏中有用的信息，目前常用的方法是提取步态能量图(Gait Energy Image, GEI)。
其提取方法是：
1. 在视频中检测行人位置，使用分割/Matting/背景建模等方式得到行人的掩膜(mask)，或行人轮廓(silhouette);
2. 将含有行人的部分图片切割出来，使用几何重心或者其他固定的点对各帧的掩膜进行对其；
3. 将各个帧的掩膜进行相加平均，即得到GEI。
其过程如图所示：
该方法较为简单，但是相比其他特征更加稳定和有效[1]。
一些文章也在GEI的基础上探索更优的特征表达。
如[2]中，作者使用三维卷积来处理视频中各帧的行人轮廓，同时在讨论中认为使用LSTM等模型来处理此时序信息会更加有效。
[3]中作者使用GAN生成跨视角的GEI，以较偏的、步态信息较少的视角的GEI作为输入，生成行人侧面(90°)的GEI。
常见数据库介绍
CASIA-B
该数据库[4]是2005年提出的。数据库中包含了124个不同身份的行人，包括31位女性和93位男性。针对每个行人，数据库包含了从11个视角拍摄的视频(0°,18°,36°,…,180°)。每个视角包括了10个视频。因此每个行人共有110个视频与其对应。
这10个视频里，6个是正常视频（简称为NM，其中4个为gallery，2个为prob），2个穿大衣视频（简称为CL，均为prob），2个带包视频（简称为BG，均为prob）。
该数据库的特点是视角最多，而且包含了不同的行走状态（穿衣与带包）。
OU-ISIR
该数据库[1]共有4007个不同的行人。每个人有2个视频，一个作gallery，一个作prob。总共有四个视角(55°, 65°, 75°, 85°)，可能不同人的视角不同。
该数据库的特点是行人身份种类众多，但是每个人的视频的视角、行走状态差别较小。
USF
该数据库[5]共有122个人。每个个体不同的视频有五个不同因素：2种鞋子种类、2种拿东西的状态、2种地面种类、2种视角、2种录制时间。
这五种因素相互排列组合，组成32个视频。
该数据库在室外复杂场景录制，因此GEI更为嘈杂。
Reference
[1] H. Iwama, M. Okumura, Y. Makihara, and Y. Yagi, “The OU-ISIR gait database: Comprising the large population dataset and performance evaluation of gait recognition,” IEEE Trans. Information Forensics and Security, vol. 7(5), pp. 1511–1521, 2012.
[2] Z. Wu, Y. Huang, L. Wang, X. Wang, and T. Tan, “A Comprehensive Study on Cross-View Gait Based Human Identification with Deep CNNs”, IEEE Trans. Pattern Analysis and Machine Intelligence, 2016.
[3] S. Yu, H. Chen, E.G. Reyes and N. Poh, “GaitGAN: Invariant Gait Feature Extraction Using Generative Adversarial Networks”, in CVPR 2017 Biometrics Workshop, 2017.
[4] S. Yu, D. Tan, and T. Tan. A framework for evaluating the effect of view angle, clothing and carrying condition on gait recognition. In ICPR, pages 441–444, August 2006.
[5] S. Sarkar, P. J. Phillips, Z. Liu, I. R. Vega, P. Grother, and K. W. Bowyer,“The humanID gait challenge problem: Data sets, performance, and analysis,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol.
27(2), pp. 162–177, Feb. 2005.
