手勢識別開源項目分享 | 按鍵操作+手勢交互+靜態手勢+靜態手勢交互

點擊下面卡片關注AI算法與圖像處理”,選擇加"星標"或“置頂”

重磅乾貨,第一時間送達

來源:https://codechina.csdn.net/EricLee/handpose_x
編輯:AI算法與圖像處理
僅作爲學習交流分享,如有侵權請聯繫刪除


一、寄語

這個項目是剛好在B站上面看到得,感覺做的挺好的,感興趣的小夥伴開源關注一下,代碼將逐步開源,作爲畢設或者課程設計蠻不錯的!挺酷眩的感覺

如果覺得不錯,也給我一個三連吧。


二、項目介紹

注意:該項目不包括手部檢測部分,手部檢測項目地址:https://codechina.csdn.net/EricLee/yolo_v3
該項目是對手的21個關鍵點進行檢測,示例如下 :

圖片示例:



Demo小樣

示例1 - 按鍵操作

因爲考慮到目前沒有三維姿態不好識別按鍵按下三維動作,所以目前採用二維方式。
該示例的原理:通過簡單的IOU跟蹤,對二維目標如手的邊界框或是特定手指的較長時間位置穩定性判斷確定觸發按鍵動作的時刻,用特定指尖的二維座標確定觸發位置。
(注意:目前示例並未添加到工程,後期整理後會進行發佈,只是一個樣例,同時希望同學們自己嘗試寫自己基於該項目的小應用。)

示例2 - 手勢交互:指定區域物體識別

該示例的出發點是希望通過手勢指定用戶想要識別的物體。那麼就要選中物體的準確邊界框才能達到理想識別效果。如果待識別目標邊界框太大會引入背景干擾,太小又會時目標特徵不完全。所以希望通過手勢指定較準確的目標邊界框。因爲邊界框涉及左上、右下兩個二維座標,所以通過兩隻手的特定指尖來確定。且觸發邏輯與示例1相同。
該示例的原理:通過簡單的IOU跟蹤,對二維目標如手的邊界框或是特定手指的較長時間位置穩定性判斷確定觸發按鍵動作的時刻,用特定指尖的二維座標確定觸發位置。
(注意:目前示例並未添加到工程,後期整理後會進行發佈,只是一個樣例,同時希望同學們自己嘗試寫自己基於該項目的小應用。)
該示例依賴於另外一個物體識別分類項目。

以下是對書上狗的圖片進行分類識別的樣例,同學們可以根據自己對應的物體識別分類需求替換對應的分類識別模型即可。

示例3 - 靜態手勢

通過手關鍵點的二維角度約束關係定義靜態手勢。
示例中手勢包括:fist five gun love one six three thumbup yeah
目前該示例由於靜態手勢數據集的限制,目前用手骨骼的二維角度約束定義靜態手勢,原理如下圖,計算向量AC和DE的角度,它們之間的角度大於某一個角度閾值(經驗值)定義爲彎曲,小於摸一個閾值(經驗值)爲伸直。
注:這種靜態手勢識別的方法具有侷限性,有條件還是通過模型訓練的方法進行靜態手勢識別。

示例4 - 靜態手勢交互(識別)
通過手關鍵點的二維角度約束關係定義靜態手勢。
該項目通過手勢操作選擇分類識別區域或是ocr識別區域,送入分類識別網絡或是第三方web識別服務,亦或是檢索數據庫等應用。

原理:通過二維約束獲得靜態手勢,該示例是通過 食指伸直(one) 和 握拳(fist)分別代表範圍選擇和清空選擇區域。
建議最好還是通過分類模型做靜態手勢識別魯棒和準確高,目前侷限於靜態手勢訓練集的問題用二維約束關係定義靜態手勢替代

部分內容由於文件太大無法正常顯示,建議大家去開源項目上面查看!

好東西記得分享哈!


  
     
     
     
個人微信(如果沒有備註不拉羣!
請註明: 地區+學校/企業+研究方向+暱稱



下載1:何愷明頂會分享


AI算法與圖像處理」公衆號後臺回覆:何愷明,即可下載。總共有6份PDF,涉及 ResNet、Mask RCNN等經典工作的總結分析


下載2:終身受益的編程指南:Google編程風格指南


AI算法與圖像處理」公衆號後臺回覆:c++,即可下載。歷經十年考驗,最權威的編程規範!




   
   
   
下載3 CVPR2021

AI算法與圖像處公衆號後臺回覆: CVPR 即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文

點亮 ,告訴大家你也在看


本文分享自微信公衆號 - AI算法與圖像處理(AI_study)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章