【論文閱讀】【點雲處理】pointnet++的改進

PATs: Point Attention Transformers

論文：Modeling Point Clouds with Self-Attention and Gumbel Subset Sampling

2019CVPR，上海交大MoE實驗室和華爲諾亞方舟實驗室

本文主要改進了PointNet++中的FPS的部分，使得選取的點更能處理外點，將down sampling的點選取在attention score大的點上。很形象的對比如下圖：

接下來就介紹一下本文提出的兩個模塊。

GSA：Group Shuffle Attention

這一塊內容主要就是自注意力機制，注意力機制的詳細內容可以參考另一篇博客。

本文使用了Scaled Dot-Product attention（在上面的博客也提到了），具體的GSA的詳見論文中的公式（7）（8）和（11）。

對於點x，對應的特徵向量是y，通過y=GSA(f)的變換，得到了點的新的特徵向量y。在GSA過程中，參考(7)和(8)，仍然是使用f內部的信息，與MLP其實作用是一樣的，就是計算新的特徵。

GSS：Gumbel Subset Sampling

主要是將Pointnet++中的FPS換成了使用Gumbel Softmax進行計算每個點的重要程度，然後根據這個概率選取down sampling的點。

網絡結構

從網絡結構看，GSA網絡類似於Pointnet++中的MLP，GSS相當於FPS。

Moments

論文：Momenet: Flavor the Moments in Learning to Classify Shapes

本文章提出的方法簡單，基本上就是增加網絡的輸入。將網絡的輸入由點的座標(x,y,z)增加到(x,y,z,x²,y²,z²,xy, xz, yz)。基本網絡如下：

2^nd Order-Layer

可以從細節看到2^nd Order-Layer其實與Pointnet++非常相似，無非就是還做了人工構造了2^nd Order的特徵。

具體的Spatial-Trans中也加入了2^nd Order-Layer。

最後的效果證明，在ModelNet40的數據集上，效果很好。