NTU-RGB+D數據集
論文連接：NTU-RGB+D
一、基本介紹
該數據集包含60個種類的動作（見表1），共56880個樣本，其中有40類爲日常行爲動作，9類爲與健康相關的動作，11類爲雙人相互動作。這些動作由40個年齡從10歲到35歲的人完成。該數據集由微軟 Kinect v2傳感器採集得到，並且使用了三個不同角度的攝像機，採集的數據形式包括深度信息、3D骨骼信息、RGB幀以及紅外序列。
表1 動作種類
二、兩個評價準則
NTU數據集在劃分訓練集和測試集時採用了兩種不同的劃分標準。
1、Cross-Subject
Cross-Subject按照人物ID來劃分訓練集和測試集，訓練集40320個樣本，測試集16560個樣本，其中將人物ID爲 1, 2, 4, 5, 8, 9, 13, 14, 15,16, 17, 18, 19, 25, 27, 28, 31, 34, 35, 38的20人作爲訓練集，剩餘的作爲測試集。
2、 Cross-View
按相機來劃分訓練集和測試集，相機1採集的樣本作爲測試集，相機2和3作爲訓練集，樣本數分別爲18960和37920。
說到相機就不得不說相機的設置規則，三個相機，相機的垂直高度都是一樣的，水平角度分別爲-45°、0°和45°，每個動作執行人做兩遍相同的動作，一個次對着左邊的相機，一次對着右邊的相機，也就是說最後會採集到2×3個不同角度的信息。最後，設置不同的相機高度及距離以增加視角多樣性，並賦予一個設置號（1-17），見表2。
三、NTU的骨架座標數據集
由於筆者的研究方向是基於骨架的動作識別，所以主要和讀者分享NTU中骨架數據集的相關內容，其他形式的數據集讀者可進入NTU-RGB+D論文中瞭解更多的內容。
NTU採集到的骨架點共25個，如下圖所示。
1、文件命名方式
首先，數據集中有56880個.skeleton文件，每個文件代表一個樣本，文件命名方式如下圖所示。
S後面跟的是設置號（1-17），正如表2所示
C後面跟的是相機ID（1-3）
P後面跟的是人物ID（1-40）
R後面跟的是動作執行的遍數（1-2）
A後面跟的是動作的分類（1-60）
2、數據的格式
可以用excel打開文件，裏面的內容如下所示。
第1行爲該樣本的幀數
第2行爲執行動作的人數
第3行共有10個數據分別代表'bodyID', 'clipedEdges', 'handLeftConfidence','handLeftState', 'handRightConfidence', 'handRightState','isResticted', 'leanX', 'leanY', 'trackingState'
第4行代表關節點數
第5-29行爲25個關節點的信息，每個關節點有12個數據，分別代表'x', 'y', 'z', 'depthX', 'depthY', 'colorX', 'colorY','orientationW', 'orientationX', 'orientationY','orientationZ', 'trackingState'
以上爲一幀的信息，其他幀都是上述表示方式。
NTU座標形式的數據集在此下載，提取碼oeef。