手勢識別技術綜述

https://blog.csdn.net/qq_39033834

隨着計算機在社會中的普及，促進人機交互（HCI，Human–Computer Interaction）技術的發展將對計算機的使用產生積極影響。因此，人們越來越重視研究用於跨域人機障礙的新技術。研究的最終目標是將人機交互變得如同人與人交互一樣自然。長期以來，手勢一直被認爲是一種可以提供更自然、更有創意和更直觀的與我們的計算機進行通信的交互技術。爲此，在人機交互中加入手勢是一個重要的研究領域。

在這裏簡單說一些手勢識別的技術，鄙人還是一個小白，還請各位大佬原諒我給這篇文章取了一個“綜述”的名字。

1.手勢識別綜述

手勢識別這個術語指的是跟蹤人類手勢、識別其表示和轉換爲語義上有意義的命令的整個過程[1]。手勢識別的研究旨在設計和開發可以將用於設備控制的手勢識別爲輸入並且通過將命令映射爲輸出的系統。一般而言，從手勢交互信息採集的途徑是接觸式還是非接觸式的，可將手勢交互系統劃分爲基於接觸式的傳感器和基於非接觸類的傳感器的兩類。

基於接觸式傳感器的手勢識別通常基於使用多個傳感器的數據手套、加速度計、多點觸摸屏等技術。2004年，Kevin[2]等人設計了一種用於手勢識別的無線儀器手套“CyberGlove II”。2008年，北京航空航天大學的任程[3]等人用頭盔和數據手套研究了虛擬現實系統中的虛擬手。2015年，山東師範大學的呂蕾[4]等人研究了基於數據手套的靜態手勢識別方法，能識別25種手勢，正確率達98.9%。2007年，Bourke[5]等人提出了一種用加速度計來檢測在我們的日常活動中使用的正常手勢的識別系統。2017年，電子科技大學的王琳琳[6]等人研究了基於慣性傳感器的手勢交互方法，準確率達96.7%。2014年，中國科學院大學的薛姣[8]等人研究了一種基於觸摸屏的手勢遙控系統，平均識別率達99%。

基於非接觸式傳感器的手勢識別通常基於使用光學傳感、雷達探測等技術。2002年，Bretzner[9]等人提出了使用攝像頭採集多尺度顏色特徵的手勢識別。2010年，清華大學的沙亮[10]等人研究了基於無標記全手勢視覺的人機交互技術，提出了一種使用通用攝像頭的車載手勢視覺交互系統的解決方案，複雜環境識別率達80%。2011年，微軟公司[11]公佈了Kinect，該攝像頭可以藉助紅外線來識別手勢運動。2015年，江南大學的姜克[12]等人使用Kinect研究了基於深度圖像的3D手勢識別，識別率達76.6%。2015年，谷歌ATAP部門[13]公佈了Project Soli，該項目採用微型雷達來識別手勢運動，可以捕捉微小動作。

接觸式傳感器		非接觸類傳感器
數據手套[3][4]		微型雷達[13]	無標記[14]
慣性傳感器[6]	觸摸屏[7]	標視覺深度[11][12]	顏色標記[1]
圖1-1 若干手勢識別交互系統展示

2.基於視覺的手勢識別系統綜述

作爲基於視覺的手勢識別系統的構建模塊的大多數完整的手部交互機制包括三個基本階段：檢測，跟蹤和識別。國內外的研究人員[1] [15][16][17]歸納總結了許多成熟的基於視覺的手勢識別技術，如圖1-2所示。

手的檢測和相應圖像區域的分割是手勢識別系統的首要任務。這種分割至關重要，因爲它將任務相關的數據與圖像背景分離開來，然後再將其傳遞到後續跟蹤和識別階段。圖1-2已經展示了許多檢測方法，這些方法利用幾種類型視覺特徵的組合來檢測手部。這些特徵可以是手的膚色[18]、形狀[19]和運動等。2006年，Cote[20]等人做了一些手部分割技術的性能比較研究。

如果檢測方法足夠快可以在圖像採集幀速率下操作，則它也可以用於跟蹤[10]。然而，因爲手部可以非常快地移動並且它們的外觀可以在幾幀內大幅變化，所以手勢追蹤是非常困難的。同時，手勢跟蹤是非常重要的，它提供手/手指外觀位置的幀間座標，從而產生手部運動的軌跡。這些軌跡含有手勢的基本信息，並且可以以原始形式使用（例如，在某些控制應用中，例如虛擬繪圖，跟蹤的手軌跡直接引導繪圖操作）或者在進一步分析之後使用（例如，識別某種類型的手勢）。最常見的手勢跟蹤方法是均值偏移算法[20]（MeanShift）以及其改進算法連續自適應均值偏移算法[21]（CamShift）。

手勢識別（Gesture Recognition）的總體目標是對手的位置，姿勢或手勢傳達的語義的解釋。爲了檢測手的姿勢，可以使用通用分類器或模板匹配器[22]。對於含有軌跡的手勢，其具有時間方面的特徵需要處理該維度的技術，如隱藏馬爾可夫模型（HMM）[23] ，動態手勢識別最終可轉化爲靜態手勢識別[16]。