作者：Tom Hardy
Date：2020-2-19
來源：彙總|3D點雲分割算法
前言
最近在arXiv和一些會議上看到了幾篇3D點雲分割paper，覺得還不錯，在這裏分享下基本思路。
1、SceneEncoder: Scene-Aware Semantic Segmentation of Point Clouds with A Learnable Scene Descriptor
除了局部特徵外，全局信息在語義分割中起着至關重要的作用，而現有的研究往往無法明確地提取出有意義的全局信息並加以充分利用。本文提出了一個場景編碼模塊來實施場景感知指導，以增強全局信息的效果。該模塊預測場景描述符，場景描述符學習表示場景中存在的對象的類別，並通過過濾不屬於該場景的類別直接指導點級語義分割。另外，爲了減少局部區域的分割噪聲，本文設計了一個區域相似性損失來將特徵傳播到具有相同標籤的相鄰點上，從而提高了點特徵的識別能力。論文還將方法集成到幾種網絡中，並在ScanNet和ShapeNet基準數據集上進行了廣泛的實驗。結果表明，該方法大大提高了在baseline上的表現，達到了SOTA。
2、From Planes to Corners: Multi-Purpose Primitive Detection in Unorganized 3D Point Clouds
提出了一種新的正交平面及其相交線、關係圖和位於三個正交平面相交處的角點的無分割聯合估計方法。這種在正交性下的統一場景探索允許許多應用，例如語義平面檢測或局部和全局掃描對齊，這反過來可以幫助機器人定位或抓取任務。本文的兩階段pipelines包括對正交平面進行粗略的聯合估計，然後根據正交關係對平面參數進行聯合求精。形成了這些原語的圖形，爲進一步提取可靠的特徵如線和角鋪平了道路。本文的實驗證明了提出的方法在從牆檢測到6D跟蹤的各種場景中的有效性，無論是在合成數據還是真實數據上。
3、Learning and Memorizing Representative Prototypes for 3D Point Cloud Semantic and Instance Segmentation
三維點雲語義和實例分割是三維場景理解的關鍵和基礎。由於點集結構的複雜性，點集的分佈呈現出非平衡性和多樣性，表現爲類別不平衡和模式不平衡。因此，深度網絡在學習過程中很容易忘記非優勢案例，導致學習效果不理想。雖然重新加權可以減少分類好的例子的影響，但在動態訓練中不能處理非優勢模式。本文提出了一種記憶增強網絡來學習和記憶覆蓋不同樣本的典型原型。特別地，通過記錄在小批量訓練中看到的模式，引入了一個記憶模塊來緩解遺忘問題。學習記憶項目一致地反映了顯性和非顯性類別和案例的可解釋和有意義的信息。因此，可以通過檢索存儲的原型來增加扭曲的觀察和罕見的情況，從而獲得更好的性能和泛化。在S3DIS和ScanNetV2兩個基準上進行了詳盡的實驗，證明了該方法在效率和有效性上的優越性。不僅總體精度有了很大提高，而且非優勢類也有了很大提高。
4、JSNet: Joint Instance and Semantic Segmentation of 3D Point Clouds
爲了同時解決三維點雲的實例和語義分割問題，本文提出了一種新的聯合實例和語義分割方法JSNet。首先，建立一個有效的backbone，從原始點雲中提取魯棒特徵。其次，爲了獲得更具鑑別能力的特徵，提出了一種點雲特徵融合模塊，對backbone的不同層次特徵進行融合。在此基礎上，開發了一個聯合實例語義分割模塊，將語義特徵轉化爲實例嵌入空間，並將轉化後的特徵與實例特徵進一步融合，實現實例分割。同時，該模塊還將實例特徵聚合到語義特徵空間中，促進語義分割。最後，通過對實例嵌入應用簡單的mean-shift聚類來生成實例預測。本文在large-scale 3D indoor point cloud dataset 、S3DIS 和ShapeNet數據集上評估提出的JSNET，並與現有的方法進行比較。實驗結果表明，該方法達到了SOTA。JSNET在三維實例分割中，對三維語義預測有了顯著的改進，也有利於零件分割。
5、FuseSeg: LiDAR Point Cloud Segmentation Fusing Multi-Modal Data
本文介紹了一種簡單而有效的激光雷達與RGB數據融合方法，並對激光雷達點雲進行分割。利用激光雷達傳感器的稠密本徵距離表示和標定信息，建立了兩種輸入模式之間的點對應關係。能夠將一個域中的特徵扭曲並融合到另外一個，因此可以在一個網絡中聯合利用來自兩個數據源的信息。爲了證明該方法的優點，本文擴展了點雲分割網絡squezeseg的RGB特徵分支，並將其融合到原始結構中稱之爲FuseSeg，它使KITTI基準的IoU提高了18%。除了精度的提高，論文還實現了50 fps的實時性能，是KITTI激光雷達數據記錄速度的五倍。
