摘要
從範圍掃描獲取的點雲通常稀疏，嘈雜且不均勻。 本文提出了一種稱爲PU-GAN 的新點雲上採樣網絡，該網絡是基於生成對抗網絡（GAN）制定的，旨在從潛在空間中學習豐富的點分佈並在對象表面的子塊上對點進行上採樣。爲了實現可運行的GAN網絡，我們在生成器中構造了一個自上而下再向上的擴展單元，以對帶有誤差反饋和自校正的點特徵進行上採樣，並制定了一個自注意力單元來增強特徵集成。 此外，我們設計了具有對抗性，均一性和重構性的複合損失，以鼓勵鑑別者（器）學習更多的潛在模式並增強輸出點分佈的均一性。 定性和定量評估從分佈均勻性，表面接近度和3D重建質量方面證明了我們的結果優於最新技術。
論文鏈接：
https://arxiv.org/abs/1907.10844
代碼鏈接：
https://liruihui.github.io/publication/PU-GAN/
主要貢獻：
在這項工作中，我們提出了一個新的點雲上採樣框架，即PU-GAN，該框架將上採樣與數據修正功能相結合。
通過構造一個上-下-上單元，通過對點特徵的差異也進行上採樣以進行自我校正，從而提高生成器的點生成質量，或等效地提高特徵擴展能力。此外，還設計了一個自注意單元，以提高功能集成質量。最後，進一步設計了一種複合損失，以對抗性，統一性和重構性術語對網絡進行端到端訓練，以增強結果的分佈均勻性，並鼓勵鑑別器學習目標分佈中更多的潛在模式。
爲了評估PU-GAN的上採樣質量，我們採用了四個指標來針對各種合成和實時掃描數據的最新技術評估其性能。大量的實驗結果表明，我們的方法在分佈均勻性，表面接近度和3D重建質量方面優於其他方法。
算法框架：
1、生成器與鑑別器
給定N個點的無序稀疏點集P，我們的目標是生成rN個點的稠密點集Q，其中r是上採樣率。 雖然輸出Q不一定是P的超集，但我們希望它滿足兩個要求：（i）Q應該描述潛在目標對象與P相同的基礎幾何，因此Q中的點應位於並覆蓋目標對象表面； （ii）即使對於稀疏和非均勻輸入P，Q中的點也應均勻分佈在目標對象表面上。圖2顯示了PUGAN的整體網絡架構，其中發生器從稀疏輸入P產生密集輸出Q， 辨別器的目的是找到僞造品。
如上圖所示，生成器網絡具有三個組件來依次處理輸入P。特徵提取組件旨在從N*d維的點雲P中提取特徵F，其中d是輸入點屬性中的維數，即座標，顏色，法線等。僅考慮3D座標。特徵擴展組件將F擴展以產生擴展的特徵Fup；在這裏，我們設計了上下擴展單元（圖2（頂部）），以增強Fup中的特徵變化，從而使生成器能夠產生更多種的點分佈；點集生成組件首先通過一組多層感知器（MLP）從Fup迴歸一組3D座標。由於特徵擴展過程仍然是局部的，這意味着Fup中的特徵（或等效地，潛在空間中的點）本質上靠近輸入，因此我們在網絡中包括了最遠的採樣步驟，以僅保留rN點，從而進一步彼此遠離請參見圖2中的綠色框。爲了進行此選擇，當我們將F擴展爲Fup時，實際上是在Fup中生成（r + 2）N個特徵。該策略進一步增強了點集分佈的均勻性，特別是從全局角度而言。
鑑別器的目的是區分其輸入是否由發生器產生。 爲此，我們首先採用PCN網絡提取全局特徵，因爲它有效地結合了本地和全局信息，並確保了網絡的輕量級。 爲了改善特徵學習，我們在特徵級聯之後添加了一個自注意單元。 參見圖2的中間部分（底部）。 與基本MLP相比，此注意單元有助於增強功能集成並提高後續功能提取能力。 接下來，我們應用一組MLP和一個最大池來生成全局特徵，並通過一組全連接層進一步迴歸最終的置信度值。 如果該置信度值接近於1，則鑑別器預測輸入可能來自具有高置信度的目標分佈，否則來自生成器。
2.上-下-上擴展單元
這項工作構造了一個上-下-上擴展單元以擴展點特徵。爲此，我們首先對點要素進行上採樣（在MLP之後）以生成F’up，然後對它進行下采樣（請參見圖3（頂部））；然後，我們計算上採樣之前和下采樣之後的特徵之間的差異（表示爲∆）。通過對∆up進行上採樣，將∆up添加到F‘up以自校正擴展功能。整個過程參見圖3（頂部）。這樣的策略不僅避免了繁瑣的多步驟訓練，而且還促進了細粒度特徵的產生。
3、自注意模塊
爲了在連接後引入遠程上下文依賴關係以增強功能集成，我們在生成器鑑別器中採用自注意單元。 圖4展示了其架構。
4、基於子塊的端到端訓練
4.1訓練數據預處理
訓練網絡用於對物體表面上斑塊上的局部點進行上採樣。 具體來說，對於訓練集中的每個3D網格（在單位球中進行標準化），我們在每個網格表面上隨機找到200個種子位置，從每個種子長成一個子塊（每個斑塊佔對象的5％），然後對單位球體內的每個子塊進行歸一化處理；在每個子塊上，我們進一步使用Poisson disk sampling生成Q，Q是子塊上rN個點的目標點集。 在訓練過程中，通過從Q中選擇N個點來生成網絡輸入P。
4.2 損失函數
使用了以端到端的方式設計的用於訓練PU-GAN的複合損失。分別爲：Adversarial loss、Uniform loss、Reconstruction loss和Compound loss。詳見P4，P5。
主要結果：
我們採用四個評估指標：（i）使用等式（6）中的Luni測試均勻性；（ii）使用測試模型進行點對面（P2F）距離；（iii）倒角距離（CD）；以及（iv）Hausdorff距離（ HD）。
爲了進行定量評估，我們在每個測試模型上使用Poisson disk samplingt採樣8,192點作爲真實值，並隨機選擇2,048點作爲測試輸入。 爲了使用等式（6）評估測試結果的一致性，我們在每個結果上隨機選擇M = 1000個種子，而不是使用球查詢來裁剪Sj，而是使用實際的網格（測試模型）在不同p的每個種子處測地找到Sj，以進行更高質量的評估。 度量值越低，上採樣結果越好。
作者定性和定量地比較了PU-GAN和三種最新的點設置採樣方法：EAR，PU-Net和MPU。對於EAR，作者採用了已發佈的代碼，並通過詳盡地微調每個相關參數來產生最佳結果。對於PU-Net和MPU，作者使用的他們的公開代碼，並使用相同的訓練數據對他們的網絡進行了重新訓練。表1顯示了定量比較結果。對於所有評估指標，PU-GAN始終保持最低值。特別是，我們的結果的均一性在所有不同的p處都保持最低，這表明PU-GAN生成的點比其他人在不同尺度下生成的點要均勻得多。
除了定量結果外，我們還在圖7中顯示了各種模型的點設置採樣和表面重構結果。將（f）作者的方法和（ce）其他方法產生的結果與（b）在原始測試模型上均勻採樣的真實值進行比較 ，可以看到其他方法往往會產生更多的噪點和不均勻點集，從而導致在重構曲面中出現更多僞像。
Abstract
Point clouds acquired from range scans are often sparse, noisy, and non-uniform. This paper presents a new point cloud upsampling network called PU-GAN, which is formulated based on a generative adversarial network (GAN), to learn a rich variety of point distributions from the la- tent space and upsample points over patches on object surfaces. To realize a working GAN network, we construct an up-down-up expansion unit in the generator for upsampling point features with error feedback and self-correction, and formulate a self-attention unit to enhance the feature inte- gration. Further, we design a compound loss with adver- sarial, uniform and reconstruction terms, to encourage the discriminator to learn more latent patterns and enhance the output point distribution uniformity. Qualitative and quantitative evaluations demonstrate the quality of our results over the state-of-the-arts in terms of distribution uniformity, proximity-to-surface, and 3D reconstruction quality.
敬請關注本人公衆號，查看更多文章。
