CVPR2020：基於自適應採樣的非局部神經網絡魯棒點雲處理（PointASNL）

PointASNL: Robust Point Clouds Processing Using Nonlocal Neural Networks With Adaptive Sampling

論文地址：

https://openaccess.thecvf.com/content_CVPR_2020/html/Yan_PointASNL_Robust_Point_Clouds_Processing_Using_Nonlocal_Neural_Networks_With_CVPR_2020_paper.html

代碼地址： https: //github.com/yanx27/PointASNL

摘要

原始點雲數據通過從三維傳感器獲取或重建算法不可避免地包含異常值或噪聲。本文提出了一種新的用於點雲處理的端到端網絡，稱爲PointASNL，能有效地處理有噪聲的點雲。該方法的關鍵部分是自適應採樣（AS）模塊。首先從最遠點採樣（FPS）對初始採樣點周圍的鄰域進行加權，然後自適應調整整個點雲之外的採樣點。AS模塊不僅有利於點雲的特徵學習，而且可以減輕離羣點的偏差效應。爲了進一步捕獲採樣點的鄰域和長程相關性，在非局部運算的啓發下，提出了一個局部非局部（L-NL）模塊。這種L-NL模塊使學習過程對噪聲不敏感。大量的實驗驗證了方法在點雲處理任務中的魯棒性和優越性，無論合成數據、室內數據和室外數據有無噪聲。具體地說，PointASNL在所有數據集上實現了最先進的分類和分割任務的魯棒性能，並且在考慮噪聲的實際室外SemanticKITTI數據集上顯著優於以前的方法。

隨着3D傳感器的普及，對於將獲得更多原始3D數據，例如RGB-D數據、激光雷達數據和MEMS數據[44]。將點雲視爲三維數據的基本代表，理解點雲在各種應用中引起了廣泛的關注，例如，自動駕駛[29]，機器人技術[37]，以及地點識別[23]。在這裏，點雲有兩個組件：

與二維圖像不同，稀疏性和無序性使健壯的點雲處理成爲一項具有挑戰性的任務。此外，從這些三維傳感器獲得的原始數據或重建算法不可避免地包含離羣值或現實世界中的噪音。在這項工作中，提出了一個新穎的端到端網絡健壯的點雲處理，名爲PointASNL，能有效地處理含有噪聲或離羣點的點雲。建議的PointASNL主要包括兩個通用模塊：自適應採樣（AS）模塊和localnonlocal（L-NL）模塊。AS模塊用於調整採樣點的座標和特徵L-NL模塊用於捕獲鄰居和遠程數據採樣點的相關性。與二維圖像的情況不同，傳統的卷積操作不能直接作用於非結構化點雲數據。因此，目前大多數的方法通常使用採樣從原點選擇點的方法用於進行局部特徵學習的雲。其中採樣算法，最遠點採樣（FPS）[25]，泊松圓盤抽樣（PDS）[11]和甘貝爾子集抽樣（GSS）[48]在先前的工作中提出。然而，作爲最具代表性的一種，FPS植根於歐幾里得距離，這是任務相關的和離羣值敏感。PDS是一種預定義的均勻採樣方法無法以數據驅動的方式解決上述問題。GSS公司僅從高維嵌入執行採樣而忽略了點的空間分佈。此外，這些方法的共同關鍵問題是採樣點僅限於原始點的一個子集雲。因此，如圖1的左側所示，假設一個離羣點被抽樣，會影響下游過程不可避免。

爲了克服上述問題，建議可微自適應採樣（AS）模塊用於調整初始採樣點的座標（例如，從FPS）通過數據驅動的方式。這種座標調整有助於擬合內在幾何子流形和進一步的移位更正原始點雲之外的點而不使用離羣值的影響。因此，AS模塊不僅可以受益點特徵學習，同時也改進了模型對噪聲的魯棒性。爲了進一步提高性能學習過程對噪聲不敏感，提出了一種局部非局部的方法NL-L近距離捕獲模塊（NL）採樣點的相關性。潛在的原因是，目前，最吸引人的方法是特徵學習就是在每個局部組周圍進行查詢採樣點，然後構造基於學習[30，42，50，14]或定義類似卷積的運算[12，47，8，3，44，34]（將表示爲局部點電池）。

然而，這樣的點局部單元只考慮局部相鄰區域的信息交互通過層次結構獲取全局上下文，這通常導致自下而上的特徵學習。受到啓發的通過非本地網絡的成功[41]，創新性地設計了L-NL模塊，其中的關鍵部件是點非局部單元。尤其是非局部單元允許計算採樣點作爲整個點雲，而不是僅僅在一個有限的鄰居內範圍。通過學習到的長依賴關係L-NL模塊可以提供更精確的信息，使系統具有更強的魯棒性點雲處理。如右側所示圖1，雖然取樣點在發動機下部L-NL模塊仍然可以學習具有不同噪聲分佈的其發動機的特徵。

主要貢獻如下：1）提出了一個穩健點雲的端到端模型處理，PointASNL，可以有效緩解影響離羣值或噪聲；2）與建議的自適應採樣（AS）模塊，點ASNL可自適應調整初始採樣點的座標，使更適合具有內在幾何的特徵學習並且對於噪聲異常更爲穩健；3）進一步設計在所提出的局部非局部（L-NL）模塊中加入了一個點非局部單元，增強了點局部的特徵學習能力細胞。關於分類和分割的廣泛實驗任務驗證了方法的健壯性。

2．相關工作基於體積和基於投影的方法。

考慮到點雲的稀疏性和內存消耗，直接體素化不是很有效點雲，然後使用三維卷積進行特徵提取學習。各種後續改進方法例如，高效的時空卷積MinkowskiNet[5]，計算有效子流形稀疏卷積[7]，和基於Oc樹的神經網絡O-CNN[39]和OctNet[27]。這樣的方法大大改進了計算效率，從而導致點雲作爲輸入，無需採樣和優越的容量。還有其基於網格的方法使用傳統的卷積運算，例如，將三維數據投影到多視圖二維圖像[32]和晶格空間[31]。然而這些方法的卷積運算缺乏捕捉非局部幾何特徵。基於點的學習方法。PointNet[24]是先鋒直接處理稀疏和非結構化點雲，通過使用點態多層感知最大池操作。PointNet++[25]進一步適用k-NN分組後接最大限度地收集區域信息。因爲聚集在一起地方特色簡單到最大的激活，區域性信息尚未得到充分利用。

最近，很多已經爲有效的本地特性聚合做出了努力。PointCNN[20]將相鄰點轉換爲規範點順序，使傳統的卷積可以正常角色。Point2Sequence[21]使用注意力機制收集不同地區的信息。方法[47,44,11,22,30,40]直接使用關係式在社區和地方中心之間學習動態卷積重量，其中ECC[30]和RS-CNN[22]使用特別定義的6-D和10-D向量作爲邊緣關係，PCCN[40]和PointConv[44]投射了相對位置一個卷積重量的兩點。A-CNN網[16]使用環卷積對具有不同與本地中心點和PointWeb的距離[50]進一步連接局部區域中的每個點對以獲得更具代表性的區域特色。不過，這些方法只關注局部特徵聚合，獲取全局特徵從局部特徵到層

次結構的上下文。另一方面，還有各種各樣的作品從局部特徵的全局上下文。A-SCN[46]使用一種聚集全局特徵的全局注意機制但缺乏當地信息的支持取得良好效果。DGCNN[42]提出了EdgeConv生成邊緣特徵和在特徵空間中搜索鄰域的模塊。LPD Net[23]進一步擴展了DGCNN空間鄰域和特徵鄰域聚合。然而，特徵空間中的鄰域並不具有代表性以及空間感受野網絡逐漸變得混亂無層次結構。異常值去除和抽樣策略。異常值和噪聲通常存在於原始點雲數據中。以前的健壯用於去除離羣值的統計方法[1]受到非平凡的參數調整或需要額外的信息[43]。

提出了各種數據驅動方法[9,26]對於離羣值移除，首先丟棄一些離羣值，然後然後將噪波點投影到乾淨的曲面上。然而，這些方法無法固有地合併健壯的點雲特徵以聯合學習的方式去除離羣值進行學習。打開另一方面，基於深度學習的點雲處理方法通常是採樣點，以減少計算量消費。然而，大多數抽樣方法都是有限的由噪聲敏感度而非數據驅動[25，11]，或者不考慮空間分佈[48]。所以網絡[19]使用了一個無監督的神經網絡，比如說自組織地圖（SOM），利用點雲。然後使用PointNet++[25]對較小的採樣“節點”。但是，這樣的網不屬於在線自適應採樣。在局部假設下標籤一致性，有些作品使用的幾何中心體素網格統一表示採樣點[34，30]，忽略了點分佈影響的差異。不過，這些方法對噪聲和無法學習採樣點的空間分佈同一時間。

3. Our Method

3.1．自適應採樣（AS）模塊

最遠點採樣（FPS）廣泛應用於許多領域點雲框架，因爲可以生成一個相對統一的採樣點。因此，鄰居可以儘可能多的輸入點雲。儘管如此，FPS主要有兩個問題：（1）非常敏感對於離羣點，這使得在處理時非常不穩定使用真實的點雲數據。（2）取樣點來自FPS必須是原始點雲的子集，這使得如果在採集過程中會出現遮擋和丟失錯誤。

3.2．本地非本地（L-NL）模塊

在L-NL模塊中，有兩個單元：局部點（PL）單元和點非局部（PNL）單元。特別是cell可以是任何吸引人的算法（例如PointNet++[25]，PointConv[44]），並且PNL cell創新性地考慮採樣點與整點的相關性多尺度雲。因此，語境學習通過結合局部和全局信息（見圖2（b））。

3.3．PointASNL

在每一層中將兩個部分結合起來，可以實現分類和分割任務的體系結構。對於分類，設計了一個三層網絡並在兩個級別上向下採樣輸入點。特別地，前兩層採樣512和124個點。第三個層將前兩層的全局特徵與最大池，其中新功能完全由分別連接層、dropout和softmax層。批處理規範化層和ReLU函數是用於每層。此外，跳過連接[10]是用於前兩層。對於分段（參見圖4），每個編碼器層與分類中的設置類似，但網絡有更深的結構（1024-256-64-16）。在解碼器部分，使用3-最近插值[25]獲得上採樣特徵也可以使用L-NL塊進行更好的特徵學習。此外，跳過連接被用來傳遞特徵在編碼器和解碼器。

4. Experiment