3D點雲目標識別和抓取

最近在找工作,應聘的技術崗,發現簡歷寫起來總少點什麼,希望這個技術博客能堅持寫下去吧。

這是2016年一個點雲目標識別研究的簡單描述。

1、點雲目標識別流程

點雲目標識別,顧名思義,需要有標準的目標點雲或者標準的點雲特徵描述向量;對實時採集的點雲數據,在裏面尋找與目標點雲相似度最高的點雲塊。

 

2、圓環工件的識別和抓取

圖2.1 點雲在XY平面的投影圖像

圖2.2 圓環點雲採集圖像

2.1濾波

常用點雲濾波有帶通濾波、統計濾波、半徑濾波、去除背景平面、去除邊緣。

帶通濾波:就是設置一個x、y、z方向的一個取值範圍,以過濾掉明顯不在測試距離範圍的點雲;比如在kinect數據採集中,由於其成像範圍Z軸方向比較大,因此會出現很多明顯我們不需要的背景噪聲信息,這是可以設置一個合理的Z座標閾值;

半徑濾波:就是搜尋給定半徑R內的相鄰點雲個數,當個數少於給定閾值時,去除點雲;主要用在去除孤立點;

 統計濾波:對每個點,計算最近鄰K個點雲距離的均值;假設最近鄰距離均值符合高斯分佈,則剔除距離在一個sigma外的點雲;主要用於去除不合羣離散點。

去除背景平面:對放在平面上的物體,背景通常會有一個較大的平面;採用Ransac擬合平面,剔除平面。

 

圖2.3 統計濾波閾值選取方式 

圖2.4 圓環濾波後

2.2降採樣

三維點雲數據一般數據量都很大,爲了提高程序的速度,可以對濾波後的數據進行降採樣;降採樣的原則是保證點雲的整體分佈情況,又不能破壞邊緣信息(類似於圖像處理的邊緣保留Edge-preserving)。均勻降採樣使用體素格的重心來表示給定半徑範圍內點的整體信息,來實現降採樣和濾波的目的。

圖2.5 體素格降採樣

圖2.6 單一圓環體素格降採樣(藍色是原始點雲數據,紅色是降採樣數據)

2.3 點雲分割

通過濾波後,點雲被分成了很多基本不相鄰的塊,可以採用聚類的方法來進行分割(類似於二維圖像的連通域標記)。

圖2.7 點雲分割 

2.4 特徵向量計算和匹配

當數據量不大的時候,可以直接計算降採樣數據的特徵向量;數據量很大時,最好先計算特徵點(滿足旋轉、平移、尺度、仿射不變性),然後計算特徵點處的特徵向量。

類似於二維圖像,3d點雲也可以計算每個點的特徵,常用的特徵描述子有SHOT(signature histogram of orientation)、FPFH(Fast Point of Histogram)等;

匹配找到對應特徵點對後,存在很多誤匹配特徵點對,需要採用Ransac對點對進行提純,找到內點Inliners,採用ICP方法計算點對之間的旋轉變換關係;

圖2.8 識別的圓環(藍色點是原始的圓環數據,紅色的是識別後經過旋轉、平移變化的圓環)

視頻信息已經上傳Youtube,附網址:

機器人抓取視頻 https://www.youtube.com/watch?v=9UaWKWEigXo&feature=youtu.be

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章