【2019CVPR】CRAVES：通過廉價的視覺系統控制機械臂

該文章發表於2019年CVPR，題目是：CRAVES: Controlling Robotic Arm with a Vision-based Economic System，核心點是使用40美元的廉價無傳感器機械臂進行控制操作。論文爲清華、北大以及約翰霍普金斯大學合作完成。

引言

本文的出發點是訓練一個強化學習網絡，可以對機械臂進行較爲精確的控制。使用強化學習的好處是可以允許低控制精度的機械臂，也就相對廉價。當前已有谷歌的工作(2016-Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection)將機械臂每次移動時拍攝的整幅圖像輸入網絡進行訓練；這無論對於數據採集和設備性能都帶來了極大挑戰。該論文就思考一個弱化的版本，不使用整幅圖像，只使用機械臂的空間位姿訓練強化學習網絡，這樣數據的維度就大大降低。

當前對於剛體的6D姿態估計，方法相對成熟，基於深度學習的方法包括兩類，一類是直接恢復6D位姿，一類是通過預測3d關鍵點的2d投影點，使用pnp方法解決。不同的是，機械臂不是一個剛體，而是一個多剛體系統，它的姿態不是6d，而是要加上對應的關節角度。因此，可以使用預測2d關鍵點的方式，將物體的6d姿態和關節角度同時估計出來。2d關鍵點的預測可以使用當前成熟的深度學習網絡，訓練數據可以基於unreal4引擎和機械臂的3d模型虛擬生成，訓練的模型可以在真實世界數據集上進行域適應等。這樣整個流程就打通了。

整體框架

圖1：論文整體框架。目標是通過單個相機作爲唯一的sensor完成任務；視覺模塊檢測機械臂的2D的關鍵點，然後計算它的3d位姿。控制模塊使用估計的3d位姿來決定下一步的移動指令，並將其傳送給motors。在他們的設定中，直接給定目標物體的3d位置。

數據集

在UnReal4引擎中構建虛擬場景，將OWI-535機械臂的3d模型置入其中，並在其上手動標記14個關鍵點和4個關節點。使用引擎的好處是和是實時獲取相機的外參和3d關鍵點的座標，也能夠得到在2d圖像上的投影座標，可以生成完整的訓練集。天空及桌面的背景使用公開集圖片隨機變換。

圖2 OWI-535機械臂的4個關節點和17個關鍵點的圖示結果。每一個關節點對應一個唯一的名字，顏色代表了其對應的部件。其中，根節點沒有使用，真正使用的是14個關鍵點和3個關節點。

直接使用虛擬生成的數據集，在真實圖片上可能表現不好，因此，作者額外採集了兩個數據集，一個是實驗室採集，包含真值的2d關鍵點位置和3d機械臂位姿；一個從YouTube爬下來的，只包含人工標註的2d關鍵點。

圖3 實驗中用到的3個數據集。從上至下：合成的圖像(上兩行)，實驗室數據集和YouTube數據集。

在虛擬數據集上訓練的模型可以使用真實圖片進行fine-tune，過程圖4。3d幾何約束是關節之間的角度，能夠唯一確定一個機械臂的3d姿態，也即3d點的關鍵點。之後將3d點投影到2d點，更新網絡預測的結果。

圖4 2d關鍵點更新過程。初始的估計值包括精確(green)，不精確(cyan)和outliers(red)。通過引入3d-prior的約束，我們能夠獲得一個優化後的關鍵點位置，用來進行神經網絡的fine-tune。

實驗結果

2d關鍵點預測結果：

表1 2d關鍵點檢測精度對比

3d位姿預測結果：

表2 機械臂關節角度和相機外參預測結果

YouTube數據集預測結果：

圖5 在YouTube數據集上的定量結果。該數據集上的挑戰包括遮擋，用戶的修改，光照等。根據相機外參和估計的位子，合成了機械臂的圖片。左邊5列都成功了，最右一列失敗了。

真實場景抓取結果

圖6 真是世界的實驗場景。目標點打印到了參考板上面，用來計算誤差。背景物體隨機放置。

表3 與人類在到達指定位置任務上的精度對比

總結

• 提出了一種方法，通過視覺輸入，來控制一個低成本的，無傳感器的機械臂來完成移動任務。提出了一種半監督的算法來集成帶標籤的合成數據以及無標籤的真實數據，共同訓練位姿估計模塊。使用多剛體系統的幾何約束(機械臂)來進行域適應。算法僅需要機械臂的3d模型，具有潛力擴展到使用其他多剛體系統的姿態估計等。
• 未來可以將視覺感知和控制模塊以一種聯合端到端的方式進行訓練，例如結合目標檢測和6d姿態估計，以完成更爲複雜的任務。
• 代碼：https://craves.ai/