Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Clouds 筆記

Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Clouds

本文介紹一篇cvpr2020裏面關於點雲無監督識別的文章。
論文
代碼

1. 問題

以無監督的方式來學習點雲，而且在modelnet和scannetobject 數據集上達到了和有監督方式的一樣的精度。

2. 思想

這篇文章認爲，由於3D物體自身的集合特性，應該可以根據局部推斷出整體的類別，並且更好的區分類內的差別。反過來，整體的特徵應該也可以推斷出各個局部的細節。

顯而易見，本文包含兩個步驟。Local to Global Reasoning 和 Global to Local Reasoning

3. 算法

3.1 Local to Global Reasoning

思想就是，從提取到的局部特徵，映射得一個全局特徵，然後衡量由局部特徵得到的全局特徵與直接的全局特徵之間差異，進行反覆學習。

所以，首先需要一個預測網絡。

• Prediction Networks:
  將局部特徵和全局特徵映射到一個共享的特徵空間內

接下來，就是需要衡量二者的差異

• Self-Supervised Metric Learning:

本文沒有選取常規的二範數，而是將其看作是unsupervised metric learning task，並如此建模（我不太瞭解metric learning）還使用multi-class N-pair loss 來監督預測任務
仿照人臉識別的metric learning將特徵放在一個超球上。

3.2 Global to Local Reasoning

進行Global to Local Reasoning 的原因是爲了保證直接提取的global feature質量，如果直接提取的global feature質量比較差，那麼Local to Global Reasoning 模塊提取的local feature 就會像一個錯誤的方向移動，導致模型無法學習到有用的知識。

這個模塊通過兩個子任務來保證全局特徵的有效性

• Self-Reconstruction
• Normal Estimation
  
  
  注意，因爲法向量估計是一個很難的任務，所以本文在modelnet數據集上，把此子任務變成了一個有監督的任務。這裏其實有點小疑問，個人覺得法向量ground truth含有的信息可能還要多於classification label。

得到最終的loss

4 實驗結果

分類精度很棒，大大超越了所有的無監督方法，甚至可以和有監督的分類方法相比擬。

從對比實驗中可以看出，每個部分都起到了比較大的作用。不是很瞭解metric learning的建模方式對這篇文章的貢獻有多大。也就是說爲什麼要使用metric learning 對loss進行約束呢？猜想一下，二範數約束loss的效果應該不好。

總結

文章做的很棒，以無監督方式甚至超過了一些有監督的模型。作者的知識面很廣，佩服！