Structural Relational Reasoning of Point Clouds

來源：2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

總結

開發SRN去理解局部結構之間潛在的聯繫。

摘要

盒子角的對稱性，顯示器表面的連續性，軀幹和身體其他部位的聯繫 -- 這表明3D物體在局部結構之間可能存在共同的內在的聯繫，這是人類的基本推理能力。在本文，我們提出了一個即插即用的模塊，稱爲結構關係網絡（structural relation network），用於推理三維點雲中局部區域的結構依賴關係。PointNet++單獨的捕獲本地結構，而不考慮內部交互（point relation），相反，我們的SRN通過同時建模局部信息的幾何信息和位置關係，這點對我們人類理解3D對象也起着至關重要的作用。提出的SRN模塊很簡單，可解釋，並且任何額外的監督信號，可以很輕鬆的插入現有網絡。

• 局部結構之間存在潛在的內在的聯繫
• SRN是即插即用的模塊，用於推理三維點雲中局部區域的結構依賴關係
• 同時利用局部的幾何信息和位置關係
• SRN可解釋，不需要額外的監督信號，可以很容易的插入現有網絡

Introduction

之前的max-pooling操作很簡單，也很必要，但是它沒有考慮局部區域之間的底層結構交互。

• local structure非常重要
• 成也max-pooling敗也max-pooling
• 結構關係推理時人類的能力，在只提供點的座標而不進一步提供其他信息的點雲數據中，這種能力也至關重要
• 通過理解結構關係，我們可以更好的掌握它們的語義
• 計算每個局部結構和其他結構之間的位置和幾何信息，以解釋它們之間的關係
• 學習到的局部特徵不僅編碼3D結構信息，而且也編碼和其他區域之間的依賴關係

如上圖所示，大多數真實世界的3D對象都具有高度相關的局部結構，如重複的對稱區域，連續曲面和連接部分，我們人類在分析3D對象時對這些內部結構的關係進行推理是一種基本能力。例如，我們正在學習3D形狀識別“人類”的物種，那麼單獨記住他的所有身體部分是不夠的，更重要的是，我們需要對他們的結構關係進行推理，例如雙臂，雙腿的對稱性，以及軀幹和其他身體部位之間的連接

---

本文提出一個名爲SRN的簡單模塊來解釋局部區域之間的交互，雖然大多數現有的方法都對圖像和視頻的空間或時間進行建模，但SRN的目標是捕獲三維點雲中局部區域結構的交互信息。我們計算每個局部結構和其他結構之間的幾何和位置相互作用，以解釋他們之間的關係，從而使學習到的局部特徵不僅編碼3D結構信息，而且也編碼和其他區域之間的依賴關係。

Related Work

• 3D數據irregular所以CNN也沒法用
• 3D點雲的local feature雀氏重要
• 對於傳統的網絡體系結構，SRN所強調的局部結構之間的內在聯繫是很難學習到的
• 首次嘗試對三維對象的結構關係進行推理

關係推理：關係推理目標在於對實體之間的交互進行推理，這是人類的一種基本能力。然而對於傳統的網絡體系結構這種關係是很難學的。爲了解決這些問題人們精心設計了關係模塊，例如A simple neural network module for relational reason- ing. 針對於視頻問答提出了一個relation network。Relation networks for object detection.提出了一種基於注意力模塊的物體關係模塊，用於對象檢測。Temporal relational reasoning in videos. 設計了一個時態關係網絡，對不同尺度的視頻幀之間的交互進行推理。這些方法大多旨在利用圖像和視頻中的空間或時間關係，但很有工作專注於三維數據的關係推理。Discovery of latent 3d keypoints via end-to-end geometric reasoning提出了一個KeypointNet去進行特定類別的3D關鍵點提取，這是3D點雲推理中最相關的工作。儘管本文的方法和它都是針對三維點雲設計的，但是KeyPointNet的目標是通過推理點與類別之間的關係來檢測潛在的關鍵點的，和本文還是有很大的不同。

---

方法

1. 介紹提出的SRN
2. 如何將其插入到PointNet++當中
3. 實現細節

SRN

設\(P\)是一個點集，每個點由三維座標表示，\(P_i\)是從整體點雲\(P\)提取的局部子點雲。由於只提供了座標而沒有更進一步的信息，我們提取局部幾何特徵\(\textbf{u}_i\in\mathbb{R}^d\)和平均位置\(\textbf{v}_i\in\mathbb{R}^3\)去描述子云\(P_i\)，使得特徵包含每個局部區域的幾何和位置信息。
例如通過幾何推理利用重複的局部patterns，通過位置推理獲取linkage relations。因此我們通過聯合學習幾何和位置關係，定義了第\(i\)個局部子云和其他子云之間的結構的相互作用\(SRN(\textbf{x}_i)\)：

\[\textbf{y}_i=f\bigg(\sum_{\forall j}h(g_u(\textbf{u}_i,\textbf{u}_j,g_v(\textbf{v}_i),\textbf{v}_j))\bigg)\tag{1} \]

• \(P_i\)子云，通過\(\textbf{v}_i\in\mathbb{R}^3\)和\(\textbf{u}_i\in\mathbb{R}^d\)去分別描述子云的位置和幾何信息