【多傳感融合】優達學城多傳感融合學習筆記（三）——將激光雷達3D點雲映射到相機圖像（上）

將激光雷達3D點雲映射到相機圖像（上）——原理分析

齊次座標系

爲了將激光雷達3D點雲映射到相機二維圖像上，我們可以使用本系列教程的第一篇針孔相機模型中得到的如下投影公式：

除了構成投影幾何關係的攝像機自身參數外，我們還需要知道關於攝像機和激光雷達在公共參考座標系中的相對位置關係。從激光雷達到相機需要經過平移和旋轉座標系轉換操作，我們需要將這些轉換操作應用到每個3D點上。因此，我們的目標是簡化用來表示映射的符號。通過使用線性變換，3D點可以用向量來表示，其平移、旋轉、縮放和透視投影等操作可以用與向量相乘的矩陣表示。有了上述方法，到目前爲止，我們要得到的投影方程僅剩的問題是它們涉及到關於$Z$的除法，這使得它們變得非線性的，從而影響了我們把它們轉換成更加方便的矩陣向量形式。

避免這個問題的一種方法就是改變座標系，從最初的歐幾里得座標系變成齊次座標系。在這兩個座標系之間來回切換的是一個非線性的操作，但是一旦我們身處齊次座標系中，像上面給出的投影變換關係就會變成線性的，這樣便可以用簡單的矩陣-向量乘法來表示。兩種座標系之間的轉換如下圖所示。

在$n$維歐幾里德座標系中，一個點可以由一個$n$維向量表示。通過簡單地將數字$1$作爲一個額外的分量就可以將其轉換成$(n+1)$維齊次座標。該變換既可以應用於圖像座標，也可以應用於場景座標。

要將齊次座標轉換回歐幾里得座標系，只需要去掉向量中最後一個維度座標，並用前$n$個座標除以去掉的最後一個維度座標，如上圖所示。如前所述，這是一個非線性操作，一旦我們回到歐幾里德空間，就會失去將不同參數精確地分離成單獨的矩陣分量（即線性化表示座標系映射關係）的能力。接下來，我們將研究這些矩陣分量。

內參（Intrinsic Parameters）

下面我們將用矩陣-向量的形式來表示投影方程：

可以看出，相機的**內在參數（Intrinsic Parameters，簡稱內參）**被提取到一個矩陣中，這樣可以用一種非常簡潔的方式表示我們的針孔相機模型的一般屬性。更加複雜的相機模型屬性，如歪斜（skewness）或剪切（shear），也可以很容易地添加。

下面網站中提供的視頻動畫形象地展示了相機的各個內參對圖像平面上物體外觀顯示的影響：http://ksimek.github.io/2013/08/13/intrinsic/，該網站中的視頻動畫示意圖如下圖所示。

外參（Extrinsic Parameters）

在以針孔爲中心的相機座標系中，三維空間中的點$P$與二維圖像平面中的點$P'$之間的映射關係已經被描述出來了。但是，如果我們在三維空間中擁有的關於點的信息都是在另一個座標系中，例如在許多汽車應用程序中常見的汽車座標系，那麼情況又該如何呢?如下圖所示，車輛座標系原點位於車輛後軸中點下方的地面上，x軸指向行駛方向。除了座標軸命名約定外，下圖中還顯示了繞X、Y和Z軸旋轉時通常使用的角度名稱，即“roll”、“pitch”和“yaw”。

我們假設該車配備了激光雷達和相機，它們都將在車輛座標系下進行座標校準。爲了將在激光雷達座標系中測量到的點投射到相機座標系中，我們需要在映射操作中添加一個額外的轉換，使我們能夠將點從車輛座標系關聯到相機座標系，反之亦然。通常，這種映射操作可以分爲三個部分：平移（translation）、旋轉（rotation ）和縮放（scaling）。讓我們依次對它們進行分析：
平移：由下圖可見，平移描述了從點$\overrightarrow{P}$到新位置$\overrightarrow{P^{'}}$的線性移動，該移動可以通過給$\overrightarrow{P^{}}$
加上一個平移向量$\overrightarrow{t}$實現。

在齊次座標系中，這可以通過連接一個$N$維單位矩陣$I$進行表示，其中 N是$\overrightarrow{P}$和$\overrightarrow{t}$的元素個數。這樣，平移操作就變成了一個簡單的矩陣-向量乘法，如上圖所示。

縮放：旋轉操作可以通過令$\overrightarrow{P}$乘以一個縮放向量$\overrightarrow{s}$實現。在齊次座標中，這也可以表示爲矩陣-向量乘法，如下圖所示。

旋轉：逆時針方向（在數學上爲正）旋轉得到的點$\overrightarrow{P^{'}}$，可以由$\overrightarrow{P}$通過下圖所示的方式得到。

如上圖所示，旋轉操作可以通過乘以一個旋轉矩陣R來表示。在三維空間中，點$P$可以用下圖所示的旋轉矩陣表示圍繞三個座標軸的旋轉：

注意：圍繞三個座標軸的獨立的旋轉可以通過旋轉矩陣相乘組合成一個聯合旋轉矩陣R：
$R=R_z \cdot R_y \cdot R_x$

齊次座標系的一大優勢就是隻需連接多個矩陣-向量乘法就可以輕鬆組合多種轉換操作，實乃一大利器！

包含$R$和$\overrightarrow{t}$的組合矩陣又被稱之爲外參矩陣，因爲它模擬了點在座標系之間的座標轉換。一旦激光雷達座標系中的點被轉換到相機座標系中，下面就需要將其映射到相機圖像平面中。爲了實現這個目的，我們還要額外添加之前討論過的相機內參矩陣$K$。在齊次座標系下，我們只需將之前的轉換結果與內參矩陣相乘就可以實現。

由此可得，完整的將激光雷達3D點雲映射到相機圖像上所需的座標轉換公式如下圖所示：

注意：上圖中，“縮放”操作已經被集成到了內參矩陣$K$中（和焦距成爲相關量），而不再是外參矩陣的一部分。在下面的視頻中，展示了相機的外參對圖像平面上物體外觀顯示的影響：http://ksimek.github.io/perspective_camera_toy.html