3D點雲識別

激光雷達點雲

• 由激光雷達產生，分爲機械式Lidar:TOF,N個獨立激光單元，旋轉產生360度視場。

上圖中激光雷達位於圓圈的中心，周圍產生的光點就是產生的3D點雲。它的中心一般由一輛攜帶激光雷達的汽車來進行360度的掃描

在上面的兩張圖中，一個是正常的角度，一個是俯視圖。帶有藍色座標軸的設備就是機械式的激光雷達，會360度旋轉，發出64條激光線。

還有一種是不旋轉的MEMS式Lidar，它內部有一個組件在旋轉，通過這個組件的旋轉來實現掃描的效果。

• 數據特點

1. 簡單：由x、y、z、i組成，x、y、z爲座標，i可以是強度也可以是距離。
2. 稀疏：相對於圖像來說，它要稀疏很多，如果把激光雷達點雲投影到圖像中可能只佔有圖像的7%。
3. 無序：N!點雲沒有順序，角度不同、震動、掃描順序不同，都會導致點雲的順序不一樣。
4. 精確：+/-2cm

• 圖像 vs 點雲

1. 點雲：簡單精確適合幾何感知
2. 圖像：豐富多變適合語義感知

這兩種感知手段在ADAS(自動駕駛)場景中各有各的用處，比如說交通信號，3D點雲就無法感知，只能通過圖像識別來進行感知。

• 3D點雲數據來源

1. CAD模型：一般分類/分割問題的數據集是CAD。
2. LiDAR傳感器(激光雷達)
3. RGBD相機，雙目相機，它們都是稠密點雲

• 常用數據集

1. Classification(Feature Respresentation),都是基於CAD模型
   1. ModelNet40/10
   2. ShapeNetPart
2. 無人駕駛場景:Detection/ Segmentation/ Tracking
   1. http://www.cvlibs.net/datasets/kitti/
   2. http://apolloscape.auto
   3. https://www.cityscapes-dataset.com
   4. https://bdd-data.berkeley.edu

這裏我們主要用到的就是kitti數據集，我們先來看一下kitti中都有哪些數據集

這個是雙目數據集

光流數據集

深度數據集

里程計數據集

檢測數據集2d，3d的，我們要用的就是這個3d的數據集

跟蹤數據集

分割數據集

這些都是將原始數據集處理一下，來應對各種細分的算法。

• KITTI數據集

自動駕駛場景下的計算機視覺算法評測數據集

1. 算法測評類別：stereo(立體的)、optical flow(光流)、visual odometry(可視化里程計)、object dectection(物體檢測)、tracking(追蹤)
2. 數據採集場景:Road(道路)、City(城市)、Residential(住宅區)、Campus(校園)、Person(人)
3. 3D物體檢測:car(小汽車)、van(貨車)、truck(卡車)、pedestrian(行人)、sitting(坐着的人)、cyclist(騎自行車的人)、tram(有軌電車)、misc(雜項)

我們依然來看一下這個採集車

在上圖中，有兩個灰度相機cam 0和cam 1，形成一個雙目；還有兩個彩色相機cam 2和cam 3，也形成一個雙目。是一個GPS導航，是激光雷達。

• 座標系

對於相機來說，爲上圖的紅色座標系，X對應汽車的右方，Y對應汽車的下方，Z對應汽車的前方。激光雷達座標系爲上圖的藍色座標系，X對應汽車的前方，Y對應汽車的左方，Z對應汽車的上方。GPS座標系爲上圖的綠色座標系，它跟激光雷達是一樣的。

• 激光雷達點雲鳥瞰圖

上圖以圖片的左上角的點爲圖片的座標原點，向右爲圖片的x座標，向下爲圖片的y座標，那麼它跟激光雷達的座標形成了如下的關係

• 將點雲投影到圖片上

我們依然以圖片最左上角爲圖片的原點，向右爲圖片的x座標，向下爲圖片的y座標，那麼它跟激光雷達的座標形成了如下的關係

這裏也就是說我們正視的圖片爲激光雷達的正前方，圖片左方爲激光雷達的y軸，圖片的上方爲激光雷達的z軸。