PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation
本文介紹一篇cvpr2020裏面關於點雲實例分割的文章。
論文
目前還沒有開源代碼
1. 問題
和2D圖片不同，3D點雲不存在遮擋現象，存在大量的void space， 本文想充分利用void space 進行分割。
2. 思想
那麼如何利用這些void space 呢？
本文采取一種shift的思想，正因爲void space的存在，使我們shift各個instance存在可能。即各個instance之間距離在變大的同時，不會發生重疊。
再結合題目，就很清楚本文的主要思想了。
通過網絡產生相對於實例中心點的offset, 然後產生兩組 cluster set。一組是加上了偏移的，另一組是沒有加偏移的原始集合。對這兩組點集進行emerge ,然後通過網絡進行最終的instance segmentation。
所以本文主要包括三個module， 一個提取特徵的網絡，一個聚類偏移模塊和最後ScoreNet。
3. 算法
3.1 Backbone Network
主幹網絡上應該是沒有創新的，沿用了3D semantic segmentation with submanifold sparse convolutional networks的架構
Offset Prediction Branch
這個offset分支就是用來產生偏移的，對此作者加了些約束。
我的理解就是想讓同一個instance上點的offset接近。
由於不同種類物體的size不一樣，所以很難精準的迴歸位置。尤其對於大尺寸的物體，物體邊界點距離中心點太遠，有可能導致不一致的shift。於是，作者又添加了一個約束。
3.2 Clustering Algorithm
在得到兩個集合，原始座標和shift座標後。本文對點雲進行實例聚類。
考慮到實際場景，約束了聚類的半徑，和類內點的數目。
3.3 Socrenet
clus對得到ter proposal進行評估和最終的迴歸。
4 實驗結果
性能應該是大幅提升。還有一些超參的對比實驗。
總結
文章的想法比較新穎，dual set的概念看起來很有效。
作爲一個小菜雞，我還是覺得instance segmentation太耗時了。如果沒有充足的GPU資源，不要輕易嘗試。