【RL-GAN-Net】強化學習控制GAN網絡，用於實時點雲形狀的補全。

• 論文題目：RL-GAN-Net: A Reinforcement Learning Agent Controlled GAN Network for Real-Time Point Cloud Shape Completion

所解決的問題

  用強化學習控制GAN網絡，以使得GAN更快，更魯棒。將其用於點雲數據生成。全網第一次用RL控制GAN。通過數據驅動的方法填補三維數據中的數據缺失。

所採用的方法？

  預訓練階段，訓練一個自編碼器，用於生成隱空間的表示，之後用這個去訓練GAN網絡。強化學習智能體用於選擇合適的$z$向量，去合成隱空間的表示。與之前的反向傳播發現$z$向量不同，本文采用RL的方法進行選擇。

  主要由三個模塊組成：1. 自編碼器；2. $l$-GAN；3. 強化學習智能體(RL)。

自編碼器

  自編碼器用的損失函數如下：

$d_{C H}\left(P_{1}, P_{2}\right)=\sum_{a \in P_{1}} \min _{b \in P_{2}}\|a-b\|_{2}^{2}+\sum_{b \in P_{2}} \min _{a \in P_{1}}\|a-b\|_{2}^{2}$

  其中$P_{1}$和$P_{2}$代表點雲的輸入和輸出。

$l$-GAN

  結合GFV來訓練GAN。

• Chamfer loss:

  輸入點雲數據$P_{in}$和生成器和解碼器輸出數據$E^{-1}(G(z))$做loss：

$L_{C H}=d_{C H}\left(P_{i n}, E^{-1}(G(z))\right)$

• GFV loss：生成CFV $G(z)$和輸入點雲$E(P_{in})$

$L_{G F V}=\left\|G(z)-E\left(P_{i n}\right)\right\|_{2}^{2}$

• Discriminator loss 判別器損失函數：

$L_{D}=-D(G(z))$

強化學習

  強化學習用於快速選擇GAN生成器的輸入$z$：

  獎勵函數定義爲：

$r=w_{C H} \cdot r_{C H}+w_{G F V} \cdot r_{G F V}+w_{D} \cdot r_{D}$

  其中 $r_{CH}=-L_{CH}$，$r_{GFV}=-l_{GFV}$，$r_{D}=-L_{D}$。智能體用DDPG算法。

取得的效果？

參考資料

  相似文獻：

• Panos Achlioptas, Olga Diamanti, Ioannis Mitliagkas, and Leonidas J. Guibas. Representation learning and adversarial generation of 3d point clouds. CoRR, abs/1707.02392, 2017. (有提到用隱空間數據訓練GAN會更穩定)。

  相關GitHub鏈接：

• https://github.com/lijx10/SO-Net
• https://github.com/heykeetae/Self-Attention-GAN
• https://github.com/sfujim/TD3