【點雲識別】Multi-Path Region Mining ForWeakly Supervised 3D Semantic Segmentation on Point Clouds

Multi-Path Region Mining ForWeakly Supervised 3D Semantic Segmentation on Point Clouds

本文介紹一篇cvpr2020裏面關於點雲弱監督分割的文章。
論文
目前還沒有開源代碼

1. 問題

目前獲得大規模點雲已經不是一件困難的事情了，但是對其進行標註是十分費時。
例如 ScanNet 數據集，對一個scan標註時間的中位數和平均數大概是16.8min和22.3min。

所以本文想要解決弱監督點雲分割的問題。

2. 思想

通過Scene-level 和 Subcloud-level 的label完成點雲的分割。

前端使用了point class activation map（PCAM）進行特徵的提取，然後 Multi Path
Region Mining模塊進行enhance，使用element-wise maximum 得到label。最後使用了一個CRF進行refine。

3. 算法

3.1 point class activation map（PCAM）

使用KPConv和ResNet blocks 作爲主體網絡。

3.2 MultiPath Region Mining

使用了三種attention方式。值得一提的是，在最後的sum環節，對於attention後的feature又給了一個權重 $\beta$，這個權重$\beta$是可學習的。

4 實驗結果

Ablation study這裏比較有意思，仔細觀察就會發現作者並沒有給出SA+CA, SA+PSA, CA+PSA中的任意一個結果。根據之前的實驗經驗猜測，這三種attention疊加到一起，效果不一定會優於其中任意兩種的疊加。因爲會存在冗餘，重複的過程。

總結

應該是點雲無監督分割的先行者，算是爲這個方向邁出了第一步。從效果上看比較一般，可能是無監督分割的難度太大。attention處整理得比較好，應該是我見過的最清晰的一篇。AAAI2020也有一篇使用了channel,point,local attention，但是寫的沒有這篇清晰簡潔，值得學習。