Structural Relational Reasoning of Point Clouds

来源：2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

总结

开发SRN去理解局部结构之间潜在的联系。

摘要

盒子角的对称性，显示器表面的连续性，躯干和身体其他部位的联系 -- 这表明3D物体在局部结构之间可能存在共同的内在的联系，这是人类的基本推理能力。在本文，我们提出了一个即插即用的模块，称为结构关系网络（structural relation network），用于推理三维点云中局部区域的结构依赖关系。PointNet++单独的捕获本地结构，而不考虑内部交互（point relation），相反，我们的SRN通过同时建模局部信息的几何信息和位置关系，这点对我们人类理解3D对象也起着至关重要的作用。提出的SRN模块很简单，可解释，并且任何额外的监督信号，可以很轻松的插入现有网络。

• 局部结构之间存在潜在的内在的联系
• SRN是即插即用的模块，用于推理三维点云中局部区域的结构依赖关系
• 同时利用局部的几何信息和位置关系
• SRN可解释，不需要额外的监督信号，可以很容易的插入现有网络

Introduction

之前的max-pooling操作很简单，也很必要，但是它没有考虑局部区域之间的底层结构交互。

• local structure非常重要
• 成也max-pooling败也max-pooling
• 结构关系推理时人类的能力，在只提供点的座标而不进一步提供其他信息的点云数据中，这种能力也至关重要
• 通过理解结构关系，我们可以更好的掌握它们的语义
• 计算每个局部结构和其他结构之间的位置和几何信息，以解释它们之间的关系
• 学习到的局部特征不仅编码3D结构信息，而且也编码和其他区域之间的依赖关系

如上图所示，大多数真实世界的3D对象都具有高度相关的局部结构，如重复的对称区域，连续曲面和连接部分，我们人类在分析3D对象时对这些内部结构的关系进行推理是一种基本能力。例如，我们正在学习3D形状识别“人类”的物种，那么单独记住他的所有身体部分是不够的，更重要的是，我们需要对他们的结构关系进行推理，例如双臂，双腿的对称性，以及躯干和其他身体部位之间的连接

---

本文提出一个名为SRN的简单模块来解释局部区域之间的交互，虽然大多数现有的方法都对图像和视频的空间或时间进行建模，但SRN的目标是捕获三维点云中局部区域结构的交互信息。我们计算每个局部结构和其他结构之间的几何和位置相互作用，以解释他们之间的关系，从而使学习到的局部特征不仅编码3D结构信息，而且也编码和其他区域之间的依赖关系。

Related Work

• 3D数据irregular所以CNN也没法用
• 3D点云的local feature雀氏重要
• 对于传统的网络体系结构，SRN所强调的局部结构之间的内在联系是很难学习到的
• 首次尝试对三维对象的结构关系进行推理

关系推理：关系推理目标在于对实体之间的交互进行推理，这是人类的一种基本能力。然而对于传统的网络体系结构这种关系是很难学的。为了解决这些问题人们精心设计了关系模块，例如A simple neural network module for relational reason- ing. 针对于视频问答提出了一个relation network。Relation networks for object detection.提出了一种基于注意力模块的物体关系模块，用于对象检测。Temporal relational reasoning in videos. 设计了一个时态关系网络，对不同尺度的视频帧之间的交互进行推理。这些方法大多旨在利用图像和视频中的空间或时间关系，但很有工作专注于三维数据的关系推理。Discovery of latent 3d keypoints via end-to-end geometric reasoning提出了一个KeypointNet去进行特定类别的3D关键点提取，这是3D点云推理中最相关的工作。尽管本文的方法和它都是针对三维点云设计的，但是KeyPointNet的目标是通过推理点与类别之间的关系来检测潜在的关键点的，和本文还是有很大的不同。

---

方法

1. 介绍提出的SRN
2. 如何将其插入到PointNet++当中
3. 实现细节

SRN

设\(P\)是一个点集，每个点由三维座标表示，\(P_i\)是从整体点云\(P\)提取的局部子点云。由于只提供了座标而没有更进一步的信息，我们提取局部几何特征\(\textbf{u}_i\in\mathbb{R}^d\)和平均位置\(\textbf{v}_i\in\mathbb{R}^3\)去描述子云\(P_i\)，使得特征包含每个局部区域的几何和位置信息。
例如通过几何推理利用重复的局部patterns，通过位置推理获取linkage relations。因此我们通过联合学习几何和位置关系，定义了第\(i\)个局部子云和其他子云之间的结构的相互作用\(SRN(\textbf{x}_i)\)：

\[\textbf{y}_i=f\bigg(\sum_{\forall j}h(g_u(\textbf{u}_i,\textbf{u}_j,g_v(\textbf{v}_i),\textbf{v}_j))\bigg)\tag{1} \]

• \(P_i\)子云，通过\(\textbf{v}_i\in\mathbb{R}^3\)和\(\textbf{u}_i\in\mathbb{R}^d\)去分别描述子云的位置和几何信息