手势识别技术综述

https://blog.csdn.net/qq_39033834

随着计算机在社会中的普及，促进人机交互（HCI，Human–Computer Interaction）技术的发展将对计算机的使用产生积极影响。因此，人们越来越重视研究用于跨域人机障碍的新技术。研究的最终目标是将人机交互变得如同人与人交互一样自然。长期以来，手势一直被认为是一种可以提供更自然、更有创意和更直观的与我们的计算机进行通信的交互技术。为此，在人机交互中加入手势是一个重要的研究领域。

在这里简单说一些手势识别的技术，鄙人还是一个小白，还请各位大佬原谅我给这篇文章取了一个“综述”的名字。

1.手势识别综述

手势识别这个术语指的是跟踪人类手势、识别其表示和转换为语义上有意义的命令的整个过程[1]。手势识别的研究旨在设计和开发可以将用于设备控制的手势识别为输入并且通过将命令映射为输出的系统。一般而言，从手势交互信息采集的途径是接触式还是非接触式的，可将手势交互系统划分为基于接触式的传感器和基于非接触类的传感器的两类。

基于接触式传感器的手势识别通常基于使用多个传感器的数据手套、加速度计、多点触摸屏等技术。2004年，Kevin[2]等人设计了一种用于手势识别的无线仪器手套“CyberGlove II”。2008年，北京航空航天大学的任程[3]等人用头盔和数据手套研究了虚拟现实系统中的虚拟手。2015年，山东师范大学的吕蕾[4]等人研究了基于数据手套的静态手势识别方法，能识别25种手势，正确率达98.9%。2007年，Bourke[5]等人提出了一种用加速度计来检测在我们的日常活动中使用的正常手势的识别系统。2017年，电子科技大学的王琳琳[6]等人研究了基于惯性传感器的手势交互方法，准确率达96.7%。2014年，中国科学院大学的薛姣[8]等人研究了一种基于触摸屏的手势遥控系统，平均识别率达99%。

基于非接触式传感器的手势识别通常基于使用光学传感、雷达探测等技术。2002年，Bretzner[9]等人提出了使用摄像头采集多尺度颜色特征的手势识别。2010年，清华大学的沙亮[10]等人研究了基于无标记全手势视觉的人机交互技术，提出了一种使用通用摄像头的车载手势视觉交互系统的解决方案，复杂环境识别率达80%。2011年，微软公司[11]公布了Kinect，该摄像头可以借助红外线来识别手势运动。2015年，江南大学的姜克[12]等人使用Kinect研究了基于深度图像的3D手势识别，识别率达76.6%。2015年，谷歌ATAP部门[13]公布了Project Soli，该项目采用微型雷达来识别手势运动，可以捕捉微小动作。

接触式传感器		非接触类传感器
数据手套[3][4]		微型雷达[13]	无标记[14]
惯性传感器[6]	触摸屏[7]	标视觉深度[11][12]	颜色标记[1]
图1-1 若干手势识别交互系统展示

2.基于视觉的手势识别系统综述

作为基于视觉的手势识别系统的构建模块的大多数完整的手部交互机制包括三个基本阶段：检测，跟踪和识别。国内外的研究人员[1] [15][16][17]归纳总结了许多成熟的基于视觉的手势识别技术，如图1-2所示。

手的检测和相应图像区域的分割是手势识别系统的首要任务。这种分割至关重要，因为它将任务相关的数据与图像背景分离开来，然后再将其传递到后续跟踪和识别阶段。图1-2已经展示了许多检测方法，这些方法利用几种类型视觉特征的组合来检测手部。这些特征可以是手的肤色[18]、形状[19]和运动等。2006年，Cote[20]等人做了一些手部分割技术的性能比较研究。

如果检测方法足够快可以在图像采集帧速率下操作，则它也可以用于跟踪[10]。然而，因为手部可以非常快地移动并且它们的外观可以在几帧内大幅变化，所以手势追踪是非常困难的。同时，手势跟踪是非常重要的，它提供手/手指外观位置的帧间座标，从而产生手部运动的轨迹。这些轨迹含有手势的基本信息，并且可以以原始形式使用（例如，在某些控制应用中，例如虚拟绘图，跟踪的手轨迹直接引导绘图操作）或者在进一步分析之后使用（例如，识别某种类型的手势）。最常见的手势跟踪方法是均值偏移算法[20]（MeanShift）以及其改进算法连续自适应均值偏移算法[21]（CamShift）。

手势识别（Gesture Recognition）的总体目标是对手的位置，姿势或手势传达的语义的解释。为了检测手的姿势，可以使用通用分类器或模板匹配器[22]。对于含有轨迹的手势，其具有时间方面的特征需要处理该维度的技术，如隐藏马尔可夫模型（HMM）[23] ，动态手势识别最终可转化为静态手势识别[16]。