【使用攻略】【人體關鍵點識別】
1.方案介紹
百度推出了人體關鍵點識別，檢測圖像中的人體並返回人體矩形框位置，精準定位21個核心關鍵點，包含頭頂、五官、頸部、四肢主要關節部位，支持多人檢測、大動作等複雜場景。支持多人體檢測，檢測圖像中的所有人體，標記出每個人體的座標位置；不限人體數量，適應人體輕度遮擋、截斷的情況。
人體關鍵點識別的功能特點可以應用到體育健身，根據人體關鍵點信息，分析人體姿態、運動軌跡、動作角度等，輔助運動員進行體育訓練，分析健身鍛鍊效果，提升教學效率。在這些應用中對人體姿態的判定是一個關鍵，通過姿態判定進而判斷運動員或者體育愛好者的動作是否符合要求，對於體操，瑜伽等對姿態要求比較高的體育活動；甚至是體感遊戲都有很好的幫助。
2.方案思路及實現
本攻略通過人體關鍵點，計算出人的 左右手臂，左右肩部，左右腿部以及左右髖部8個夾角，進而與要求標準夾角及允許的誤差範圍進行對比。從而實現人體姿態的判定及打分。我開發的功能在提供姿態打分的同時，提供原圖基礎上的渲染圖及動作分析圖，方便運動員進行分析。主要內容包括以下方面：
2.1平臺接入
具體接入方式比較簡單，可以參考我的另一個帖子，這裏就不重複了：
http://ai.baidu.com/forum/topic/show/943327
2.2 百度人體關鍵點功能調用：
請參照我的另外一篇文章：第四期【百度大腦新品體驗】人體關鍵點識別
https://ai.baidu.com/forum/topic/show/954123
2.3 其他方面：
夾角計算：通過餘弦計算。
關鍵點過濾：對於不同置信度的關鍵點以不同的顏色顯示在渲染圖及分析圖上，0.9分以上的用綠色，0.5-0.9用黃色，0.5以下用紅色。方便用戶識別。
渲染圖：在原圖上進行渲染，顯示關鍵點和主要連線，包括身體，四肢，頭部，臉部增加一條中軸線從頭頂到鼻子到頸部。
分析圖：在新的圖片上顯示關鍵點和主要連線，包括身體，四肢，頭部，臉部增加一條中軸線從頭頂到鼻子到頸部，方便用戶查看人臉方向。同時顯示每個位置的夾角及是否滿足要求，如果符合顯示綠色，如果不符顯示紅色。方便運動員進行分析。
判定分數：100*通過的夾角數量/總識別出來的夾角數量
3 實現效果及測試：
案例1：一個經典的體操鞍馬動作：
要求四肢平直，右腿與身體平直，左腿75度左右。以下爲具體的角度要求：
required_pose1={
'shoulder_left_angle':[15,10],
'shoulder_right_angle':[60,10],
'hip_left_angle':[180,10],
'hip_right_angle':[75,10],
'arm_left_angle':[180,10],
'arm_right_angle':[180,10],
'leg_left_angle':[180,10],
'leg_right_angle':[180,10]
}
上面的每組數值第一個爲要求的角度，第二個爲允許誤差空間。
下面爲渲染圖，分析圖和報告：
處理時長:0.71秒
person_num: 1
左肩：13.0,符合
右肩：57.5,符合
左髖：175.6,符合
右髖：71.6,符合
左臂：171.2,符合
右臂：173.1,符合
左腿：171.9,符合
右腿：178.8,符合
動作評分：100.0
案例2：多人雙手張開動作：
動作模板，雙手張開：
required_pose2={
'shoulder_left_angle':[90,10],
'shoulder_right_angle':[90,10],
'hip_left_angle':[170,10],
'hip_right_angle':[170,10],
'arm_left_angle':[180,10],
'arm_right_angle':[180,10],
'leg_left_angle':[180,10],
'leg_right_angle':[180,10]
}
渲染圖：
分析圖：
報告：
處理時長:4.00秒
person_num: 2
左肩：93.6,符合
右肩：99.5,符合
左髖：165.8,符合
右髖：171.7,符合
左臂：171.9,符合
右臂：180.0,符合
左腿：174.5,符合
右腿：175.2,符合
動作評分：100.0
左肩：116.6,不符
右肩：108.4,不符
左髖：156.8,不符
右髖：164.7,符合
左臂：175.2,符合
右臂：180.0,符合
左腿：nan,不符
右腿：175.2,符合
動作評分：50.0
案例3，瑜伽動作：
動作模板：
required_pose3={
'shoulder_left_angle':[180,10],
'shoulder_right_angle':[80,10],
'hip_left_angle':[110,10],
'hip_right_angle':[80,10],
'arm_left_angle':[45,10],
'arm_right_angle':[45,10],
'leg_left_angle':[30,10],
'leg_right_angle':[55,10]
}
渲染圖：
分析圖：
報告：
處理時長:0.82秒
person_num: 1
左肩：172.1,符合
右肩：79.0,符合
左髖：108.1,符合
右髖：81.9,符合
左臂：37.4,符合
右臂：36.9,符合
左腿：9.0,不符
右腿：48.2,符合
動作評分：87.5
4 關鍵代碼
import numpy as np
#求角度
def GetCrossAngle(l1p1,l1p2,l2p1,l2p2):
arr_0 = np.array([(l1p2['x'] - l1p1['x']), (l1p2['y'] - l1p1['y'])])
arr_1 = np.array([(l2p2['x'] - l2p1['x']), (l2p2['y'] - l2p1['y'])])
cos_value = (float(arr_0.dot(arr_1)) / (np.sqrt(arr_0.dot(arr_0)) * np.sqrt(arr_1.dot(arr_1))))
result = 180-(np.arccos(cos_value) * (180/np.pi))
result = round(result,1)
return result
#判斷角度是否符合要求
def angle_if(d,beginkey,middlekey,endkey,draw,color,setFont,text='',required=None):
total=0
score=0
if ((beginkey in d)&(endkey in d)&(middlekey in d)):
total=1
angle=GetCrossAngle(d[beginkey],d[middlekey],d[middlekey],d[endkey])
result=text+str(angle)
if required:
#print(str(required[0]))
if abs(angle-required[0])
5,測試結果及與競品的對比
整體測試下來發現，百度人體關鍵點識別對人體關鍵點有較強的識別能力，在此基礎上構建的人體姿態判定打分功能的效果很好，速度也很快。可以廣泛的應用於體育健身及娛樂互動等方面。
現在國內做人體關鍵點產品的除了百度還有商湯和Face++，在這裏也做一個簡單的對比。
FACE++
Face++對應的功能名稱是：人體骨骼關鍵點檢測 API。效果爲傳入圖片進行人體檢測和骨骼關鍵點檢測，定位並返回人體14個關鍵點（頭、頸、肩、肘、手、臀、膝、腳）等部位。支持對圖片中的所有人體進行骨骼檢測
具體點位如下圖所示：
分析效果如圖：
商湯科技：
支持14 點人體關鍵點定位，通過 RGB 圖像輸入超實時給出人體頭、肩、腰、腿等位置。分析效果如圖所示：
通過對比可以發現，功能方面，Face++和商湯科技都是檢測14個點，百度是21個點。百度多的點主要是在面部，這對於判定人臉的朝向和面部表情有很大幫助（大家可以對比一下渲染圖，百度可以渲染出臉部朝向，其他的兩個不行）這一點對於一些應用場景是很有用的。性價比方面，百度現在有50000次/天免費調用量，這對於測試和小型應用都足夠了。對於商業應用的的價格也很低，所以百度性價比的優勢也很大。
6,優化建議
就像手部有關鍵點識別和手勢識別一樣，建議百度直接建立一個人體姿態識別的新功能，直接返回人體的姿態識別的結果。可以在夾角的基礎上增加更多的內容。對於有這方面需要的用戶，用的也更方便。
作者: 才能我浪費99