利用百度大腦手勢識別，快速實現人機交互體驗設計

原創

AIBOOM

2019-11-20 14:25

1.功能描述：

對於輸入的一張圖片（可正常解碼，且長寬比適宜），檢測圖片中的所有人手，輸出每隻手的座標框、21個骨節點座標信息。

2.平臺接入

具體接入方式比較簡單，可以參考我的另一個帖子，這裏就不重複了：
http://ai.baidu.com/forum/topic/show/943327

3.調用攻略（Python3）及評測

3.1首先認證授權：

在開始調用任何API之前需要先進行認證授權，具體的說明請參考：

http://ai.baidu.com/docs#/Auth/top

具體Python3代碼如下：

# -*- coding: utf-8 -*-
#!/usr/bin/env python

import urllib
import base64
import json
#client_id 爲官網獲取的AK， client_secret 爲官網獲取的SK
client_id =【百度雲應用的AK】
client_secret =【百度雲應用的SK】

#獲取token
def get_token():
host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=' + client_id + '&client_secret=' + client_secret
request = urllib.request.Request(host)
request.add_header('Content-Type', 'application/json; charset=UTF-8')
response = urllib.request.urlopen(request)
token_content = response.read()
if token_content:
token_info = json.loads(token_content)
token_key = token_info['access_token']
return token_key

3.2手部關鍵點識別分析接口調用：

詳細說明請參考： https://ai.baidu.com/docs#/Body-API/2757b503

說明的比較清晰，這裏就不重複了。

大家需要注意的是：
API訪問URL：https://aip.baidubce.com/rest/2.0/image-classify/v1/hand_analysis
圖像數據，base64編碼後進行urlencode，要求base64編碼和urlencode後大小不超過4M。圖片的base64編碼是不包含圖片頭的，如(data:image/jpg;base64,)，支持圖片格式：jpg、bmp、png，最短邊至少50px，最長邊最大4096px

Python3調用代碼如下：

#畫出手部識別結果
def draw_hands_point(originfilename,hands,resultfilename,pointsize,pointcolor):
    from PIL import Image, ImageDraw

    image_origin = Image.open(originfilename)
    draw =ImageDraw.Draw(image_origin)
    
    for hand in hands:
        
        for hand_part in hand['hand_parts'].values():
            #print(hand_part)
            draw.ellipse((hand_part['x']-pointsize,hand_part['y']-pointsize,hand_part['x']+pointsize,hand_part['y']+pointsize),fill = pointcolor)
        gesture = hand['location'] 
        draw.rectangle((gesture['left'],gesture['top'],gesture['left']+gesture['width'],gesture['top']+gesture['height']),outline = "red")
    
    
    image_origin.save(resultfilename, "JPEG")

#手部識別
#filename:原圖片名（本地存儲包括路徑）
def hand_analysis(filename,resultfilename,size,color,pointsize,pointcolor):
    request_url = "https://aip.baidubce.com/rest/2.0/image-classify/v1/hand_analysis"
    print(filename)
    # 二進制方式打開圖片文件
    f = open(filename, 'rb')
    img = base64.b64encode(f.read())
    
    params = dict()
    params['image'] = img
    params = urllib.parse.urlencode(params).encode("utf-8")
    #params = json.dumps(params).encode('utf-8')
    
    access_token = get_token()
    begin = time.perf_counter()
    request_url = request_url + "?access_token=" + access_token
    request = urllib.request.Request(url=request_url, data=params)
    request.add_header('Content-Type', 'application/x-www-form-urlencoded')
    response = urllib.request.urlopen(request)
    content = response.read()
    end = time.perf_counter()

    print('處理時長:'+'%.2f'%(end-begin)+'秒')
    if content:
        #print(content)
        content=content.decode('utf-8')
        #print(content)
        data = json.loads(content)
        print('hand_num:',data['hand_num'])
        #print(data)
        result=data['hand_info']
        
        draw_hands_point(filename,result,resultfilename,pointsize,pointcolor)

4.功能評測：
選用不同的數據對效果進行測試，具體效果如下（以下例子均來自網上）：