图卷积-动作识别-姿态预测三篇论文归纳

名称 Actional-Structural Graph Convolutional Networks forSkeleton-based Action Recognition Convolutional Neural Networks on Graphswith Fast Localized Spectral Filtering Deep representation learning for human motion prediction and classification
目的 主要任务:动作识别
次要任务:未来的姿态预测
将CNN推广到图
利用GSP工具将CNN推广到图的数学和计算基础
开发和研究骨骼人体运动数据的学习表示,作为生成模型和特征提取器
特点 1、捕捉关节内在依赖关系
2、预测未来帧
1、避免了使用显式傅里叶基,计算效率更高
2、多层扩散和节点局部操作
3、能够通过图卷积层提取局部特征和平稳特征
1、人体运动数据的特征提取
2、骨骼动作预测
3、卷积滤波器需要覆盖所有关节的范围以捕捉肢体相关性,使卷积发生在时间方向上
4、对整个动作序列进行分类
技术 1、提出A-link推理模块,用于推断捕获特定于动作的潜在依赖关系的动作链接,将动作连杆组合成广义骨架图
2、多图动作卷积网络(AS-GCN)提取时空信息
3、引入额外的未来姿态预测头
4、每个ST-GCN块包含一个空间图卷积和一个时间卷积,可以同时提取空间和时间特征,最后一个ST-GCN块连接到一个完全连接的分类器,生成最终预测。
关键部分:每个关节相邻特征的加权平均
5、自我监督
6、门控递归单元(GRU)传播信息
7、LSTM学习时间特征
1、光谱规划
2、严格局部过滤器
3、高效池
4、TensorFlow
5、在图上设计局部卷积滤波器
6、将相似的顶点组合在一起的图粗化过程
1、开发了无监督学习方案,用于长期预测日常人体运动,而不局限于一小组动作
2、笔者团队学习的低维表示可以用于动作分类
3、基于滑动窗口的长期预测
4、主要使用识别作为验证工具
5、GPFA(高斯过程因子分析),揭示事件数据的非线性相关性
精确度 1、优于目前最先进的方法
2、训练集:37920 测试集:18960[外链图片转存失败(img-CGMJABoF-1562659811319)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1562425845656.png)][外链图片转存失败(img-72WymInI-1562659811320)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1562426513588.png)]
在这里插入图片描述 在这里插入图片描述在这里插入图片描述在这里插入图片描述 1、在动作预测方面的表现优于更复杂的深度学习模型、优于目前最先进的方法,并且能够预测更大范围的运动
2、数据库包含144名不同受试者的2235段录音,录音采样率60hz在这里插入图片描述
数据集 NTU-RGB+D/dynamics两个骨架数据集 MNIST
20NEWS
CMU mo-cap
链接 https://github.com/limaosen0/AS-GCN https://github.com/mdeff/cnn_graph
缺点 腿脚次要信息误差大 长期预测的预测误差增加
优点 未来关节位置的低误差,特别是具有特征的动作身体部位 1、低计算复杂度,计算效率高
2、打破了CNN模型不能对内核的局部支持提供精确的控制的限制
1、能够推断出未来的框架
2、对特定动作的微调降低了预期误差,在长期预测和原始训练数据中不包含的动作尤其有效
3、能够填充缺失的信息
4、直接将最近的历史传递给模型,从而避免了递归网络训练的困难和周期性运动的趋势
5、低计算复杂度,适用于在线任务
相关图 [外链图片转存失败(img-ENGfYp7z-1562659811321)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1562424110017.png)] [外链图片转存失败(img-KV0cv0TF-1562659811321)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1562482421009.png)] 在这里插入图片描述 在这里插入图片描述 在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章