- 論文地址：https://arxiv.org/pdf/2003.00410.pdf
- 代碼地址：https://github.com/zztianzz/PF-Net-Point-Fractal-Network.git
- 論文類別：三維重建
摘要
本文提出了一種基於學習的點雲分形網絡（PF-Net），用於精確、高保真的點雲完成。現有的點雲完成網絡在從不完整的點雲中生成點雲的整體形狀過程中總是會改變現有的點，並且會產生噪聲和幾何損失，PF-Net有別於現有網絡，它保留了不完整點雲的空間佈局，並能計算出在預測中缺失區域的詳細幾何結構。爲了成功地完成這一任務，PF-Net利用基於特徵點的多尺度生成網絡，對缺失點雲進行分層估計。此外，我們將多層生成損失和對抗損失相加，生成更爲真實的缺失區域。在預測中，對抗性損失可以更好地處理多種模式。我們的實驗證明了我們的方法在高挑戰性的點雲完成任務的有效性。
創新性
- 提出點雲分形網絡（PF-Net：Point Fractal Network），採用了類似分形幾何的思想，同樣以不完整點雲作爲輸入，但是僅輸出缺失部分點雲，並且較好地保留了某個物體的個體特徵。
- PF-Net 的修補對比其他網絡具有以下優勢：
（1）保留了輸入點雲獨特的幾何特性；
（2）細節特徵更加豐富且柔和；
（3）生成點雲整體的質量更高。
思路啓發
傳統的點雲補完方法基於一定的物體基礎結構的先驗信息，如對稱性信息或語義類信息等，通過一定的先驗信息對缺失點雲進行修補。這類方法只能處理一些點雲缺失率很低、結構特徵十分明顯的缺失點雲。近年來，一些工作也嘗試使用深度學習來實現點雲補全，如 LGAN-AE，PCN, 和 3D-Capsule等，這些工作以不完整點雲作爲輸入，輸出完整點雲，造成網絡過於關注到物體的整體特徵而忽略了缺失區域的幾何信息。另一方面，這些網絡會生成偏向於某類物體共性特徵的點雲，而失去某個物體的個體特徵。因此提出點雲分形網絡（PF-Net：Point Fractal Network），採用了類似分形幾何的思想，同樣以不完整點雲作爲輸入，但是僅輸出缺失部分點雲，並且較好地保留了某個物體的個體特徵。
網絡結構
PF-Net 網絡之所以可以大幅改善生成點雲的效果，與 PF-Net 網絡的特徵密不可分。該網絡的主要特徵包括：
（1）以不完整點雲作爲輸入，僅輸出缺失部分點雲，可以更多保留物體點雲的空間結構，對物體的局部特性感知更好；
（2）提出了更優的點雲特徵提取器：多分辨率編碼器（Multi-Resolution Encoder），多尺度的方法提升了高低層次點雲語義信息提取的效率；
（3）提出了金字塔解碼器（Point Pyramid Decoder）用於生成點雲，利用多階段補全損失 (Multi-stage completion loss) 監督其中關鍵點雲的生成，從而減少了幾何結構瑕疵。
（4）利用 GAN 結構的鑑別器（Descriminator）優化網絡，改善了同一類別不同物體間的特徵會相互影響的現象（Genus-wise Distortions Problem）。
幾點思考
總體來說，PF-Net 實現了缺失點雲數據下的精細補全，在不同缺失率和多個缺失位置的情況下的補全效果均較好，可以作爲點雲預處理方法，提高點雲分割、點雲識別的準確率。然而，目前點雲領域並沒有類似於 Imagenet 這樣龐大的高質量真實數據集，在一定程度上制約了更復雜的點雲處理算法的發展。點雲數據可以簡潔有效地描述三維物體，我們呼籲更多的人關注點雲深度學習，共同建設點雲深度學習的美好生態。
參考資料
覺得有用可以關注我的公衆號CV伴讀社
