點雲主要挑戰:
- \(P\)是無序的,因此需要學習的東西是置換不變的;
- \(P\)分佈在三維幾何空間中,因此要求學習的模型應該對其剛性變換(旋轉和平移)有魯棒性;
- \(P\)形成一個潛在的形狀,因此學習到的表徵是應該可以判別形狀的
以PointCNN
中的\(\mathcal{X}-Conv\)爲例,此處做個引子帶出來卷積的方法。
\(\mathcal{X}-Conv\)來鵝城只爲兩件事:
- 對每個代表點周圍的點特徵做集成。
- 在隱空間對輸入做重排去除輸入順序的影響。
- 通過這種方式進行卷積可以獲得關於點的空間佈局的具有明確推理的歸納表示
- 區別性的反映了不規則點形成的潛在形狀,因此具有形狀感知能力
- 利用幾何先驗知識,包括對點置換的不變性和對剛性變換的魯棒性
- 利用類似CNN的層次結構,實現更大的感受野,以實現上下文形狀感知學習
- 在使用
STN
時,對於較大的仿射變換矩陣將其正交化降低變形能力,加入損失函數對其做正則提高收斂速度。
- 是否可以利用輔助(輔助從哪裏找?)生成的方法,去多模態的學習。
- 感覺
PointNet++
和其他的那種鄰域特徵提取方法沒什麼區別?
-
DGCNN
的動態的方法可以學習一下, 但不說精度是否有影響,講故事方面也可以拿過去填充一下。 -
PointWeb
這種對比試驗,公式討論也挺不錯的。