- 論文地址：https://arxiv.org/pdf/2002.10876.pdf
- 代碼地址：https://github.com/liruihui/PointAugment/
- 論文類別：三維重建
摘要
作者提出了PointAugment，這是一個新的自動擴展框架，當訓練分類網絡時，該框架會自動優化和擴展點雲樣本以豐富數據多樣性。 與現有的2D圖像自動增強方法不同，PointAugment具有樣本感知功能，並採用對抗性學習策略來共同優化增強器網絡和分類器網絡，以便增強器可以學習生成最適合分類器的增強樣本。 此外，我們根據形狀分類器和點位移來構造可學習的點增強函數，並根據分類器的學習進度，精心設計損失函數以採用增強樣本。 廣泛的實驗還證實了PointAugment在改善形狀分類和檢索中各種網絡性能方面的有效性和魯棒性。
創新性
作爲探索3D點雲自動增強的首次嘗試，作者展示了用PointAugment代替傳統的數據增強方法，可以顯着改善ModelNet40 （參見圖1）和SHREC16（參見第5節）在四個有代表性的網絡上的實現，包括PointNet，PointNet ++，RSCNN 和DGCNN。 此外，我們演示了PointAugment在形狀檢索上的有效性，並評估了其健壯性，損失配置和模塊化設計。
思路啓發
- 注意樣本。我們的目標不是尋找一套通用的增廣策略或過程來處理每個輸入數據樣本，而是通過考慮樣本的基本幾何結構，爲每個輸入樣本回歸一個特定的增廣函數，我們稱之爲樣本感知自動增廣。
- 二維vs三維增強。與圖像的二維增強不同，三維增強涉及到更廣闊和不同的空間域。考慮到三維點雲的性質，我們考慮了點雲樣本上的兩種變換：形狀變換（包括旋轉、縮放和它們的組合）和點位移（點位置的抖動），在這兩種變換中，我們的增強器應該學習生成它們來增強網絡訓練。
- 聯合優化。在網絡訓練過程中，分類器會逐漸學習並變得更加強大，因此隨着分類器的不斷強大，我們需要更具挑戰性的增廣樣本來更好地訓練分類器。因此，我們以端到端的方式設計和訓練PointAugment框架，以便我們可以共同優化augment和分類器。爲此，我們必須在考慮輸入樣本和分類器容量的同時，仔細設計損失函數，動態調整增廣樣本的難度。
網絡結構
傳統的增強策略是在很小的範圍內隨機擾動，縮放和旋轉輸入。類似的方法對於2D數據足夠有效，但是在3D中，這還不夠。我們對形狀變換和點位移感興趣，這是因爲正是它們決定了物體。到目前爲止，常規策略並沒有改變這一事實。例如，如果旋轉一個球體的點，它仍然是一個相同的球體。該文使用對抗學習策略來解決該問題。
該工作包括生成樣本的強化學習方法。輸入樣本同時到達增強器和分類器，增強器獲得有關樣本擬合程度的反饋。
增強器按以下步驟工作：
- 增強器獲得樣本的點雲；
- 計算每點特徵；
- 然後使用以下方法應用特定於樣本的增強迴歸：
(1) 按形狀進行迴歸以產生變換，得到3×3的線性矩陣，給出剪切/縮放/旋轉；
(2)逐點回歸以產生每個點的位移； - 樣本與線性矩陣相乘，並加上位移。
![在這裏插入圖片描述]()
幾點思考
與現有的自動2D圖像的增強方法，PointAugment是感知樣本並採取對抗學習策略共同優化增強器網絡和分類器網絡工作，以便增強器可以學習產生出最適合分類器的樣本。 而且，制定一個可學習的點增強函數形狀變換和點位移並仔細設計損失函數以採用增強型基於分類器學習進度的樣本。
參考資料
覺得有用可以關注我的公衆號CV伴讀社
