Abstract
這篇文章提出了PointWeb
,一種在點雲的局部鄰域上下文中提取特徵的新方法,與之前工作不同是,我們在局部鄰域中稠密的將每個點和其他點連接起來。目的是基於局部區域的特徵來指定每個點的特徵,以更好地表示該區域。提出了一種新的特徵調整模塊,即AFA(Adaptive Feature Adjustment)模塊,用於發現點之間的相互作用。
待補充
PointNet
直接使用MLP去處理原始點信息,緊隨其後的PointNet++
引入了分層結構和局部特徵信息進一步提高性能,其與將像素的特徵與其局部鄰域集成在一起的2D卷積不同,PointNet++
中局部區域的特徵聚合是通過最大池實現的。如下圖a,對於DGCNN
,它通過將中心點的特徵與其通過knn
計算的臨近點之間的特徵差作爲另外的輸入維度連接起來,然後進行MLP
和max-pooling
來聚合每個局部區域中的信息。這裏僅僅考慮了中心點的對關係,因爲區域信息的聚合操作也是通過簡單的max-pooling
實現的,所以區域信息的整合依然是有限的。
補充部分Beg-PointCNN
CNN之所以獲得如此大的成功,關鍵在於他的Conv
操作,該操作可以利用圖像中密集表示的數據中的局部相關性,得到局部集合結構。此處的想法就是可不可以將其在PointCloud
中應用該種想法。
\(\mathcal{X}-Conv\)來鵝城只爲兩件事:
- 對每個代表點周圍的點特徵做集成。
- 在隱空間對輸入做重排去除輸入順序的影響。
上面兩件事的作用可以類比爲CNN
裏面的Conv
操作。
作者提出了一種在卷積角度處理點雲問題的框架,其中最關鍵的部分被稱爲\(\mathcal{X}-Conv\),他的主要作用就是解決了上面兩件事。
CNN
採用Conv
這種結構對規則的歐氏空間的圖像等數據進行逐層的信息整合,本文提出一種\(\mathcal{X}-Conv\)的一種類似卷積的結構來實現相同的目標。他的核心是學習一個\(K \times K\)的特徵重排矩陣\(\mathcal{X}\),作用是對任意順序輸入的特徵重新排列使模型對輸入順序不變,理想情況下這個矩陣是\(0-1\)矩陣,實際上學習到的並不是完全的二值分佈,但是仍然是有效的。