世界座標系、相機座標系、圖像平面座標系

一、四個座標系簡介和轉換

相機模型爲以後一切標定算法的關鍵，只有這邊有相當透徹的理解，對以後的標定算法纔能有更好的理解。本人研究了好長時間，幾乎每天都重複看幾遍，最終纔會明白其推導過程。
     我覺得首先我們要理解相機模型中的四個平面座標系的關係：像素平面座標系（u,v）、像平面座標系（圖像物理座標第（x,y）、相機座標系（Xc,Yc,Zc）和世界座標系（Xw,Yw,Zw），在每一篇介紹相機模型的文章中都有介紹。
     我剛開始理解時，看着那一堆的公式十分的頭暈，我相信很多初學者和我一樣，但仔細想想，只不過是，我們假設了一些參數，使四個座標系之間的座標聯繫起來，這樣我們就可以從拍攝的圖片上一個點座標一路反推出世界中的那個點的座標，這樣就達到了我們的目的，三維重建。而那些我們假設的參數，就是我們要標定的內外參數。

1、像素座標與像平面座標系之間的關係 
      確定他們的關係之前，我們可以假設每一個像素在u軸和v軸方向上的物理尺寸爲dx和dy。仔細看下他們的模型可以推出以下公式（這個還是比較好理解的）：

解釋：1、dx,dy,u0,v0其實都是我們假設出來的參數，dxdy表示感光芯片上像素的實際大小，是連接像素座標系和真實尺寸座標系的，u0,v0是圖像平面中心，最終是要我們求的內外參數。

得出這個公式後我們可以運用線性代數的知識把方程用矩陣形式表示：

當然我們也可以用另一種矩陣形式表示：

2、相機座標系與世界座標系之間的關係 

     這兩個座標系之間的關係我們可以旋轉矩陣R和平移矩陣T來得到以下關係：

                                       

                                                                    公式4

   解釋：1、 在這個公式中，R爲3*3矩陣，T爲3*1，0爲（0，0，0），簡化用Lw表示後爲4*4矩陣。

3、成像投影關係（相機座標系與像平面座標系） 

     在相機模型中我們可以得到以下公式：

                                       

                                                                 公式5

           解釋：1、

同樣我們用矩陣形式表示：

                                          

                                                                       公式6

4、得到公式

而我們可以將以上公式綜合一下就可以得到：

  

因此，內參數矩陣可以表示爲：

=

外參矩陣可以表示爲：，由旋轉矩陣R和平移向量T組成

當然在好多資料上都有這種做法：

上圖中表示的情況是像素座標系和圖像物理座標系的兩個座標軸不是平行的關係，像素座標系的兩個座標軸也不是垂直90°的關係，而圖像物理座標系的兩個座標軸是垂直關係。所以，我們在轉換兩個座標軸的座標之間的關係時就必須考慮像素座標系兩個座標軸之間的夾角了。就有了上面的不同的內參矩陣，理解了就好了。

二、圖像座標：我想和世界座標談談(B)

         玉米將在這篇博文中，對圖像座標與世界座標的這場對話中涉及的第二個問題：談話方式，進行總結。世界座標是怎樣變換進攝像機，投影成圖像座標的呢？

        玉米做了一個簡單的圖示，在這裏做一個提綱。圖中顯示，世界座標系通過剛體變換到達攝像機座標系，然後攝像機座標系通過透視投影變換到達圖像座標系。可以看出，世界座標與圖像座標的關係建立在剛體變換和透視投影變換的基礎上。爲了獎勵剛體變和透視投影變換溝通了“世界上最遠的距離”，玉米在圖上獎勵了他們兩朵小紅花。哈哈

 首先，讓我們來看一下剛體變換是如何將世界座標系與圖像座標系聯繫起來的吧。這裏，先對剛體變換做一個介紹：

        剛體變換(regidbody motion):三維空間中， 當物體不發生形變時，對一個幾何物體作旋轉， 平移的運動，稱之爲剛體變換。

因爲世界座標系和攝像機座標都是右手座標系，所以其不會發生形變。我們想把世界座標系下的座標轉換到攝像機座標下的座標，如下圖所示，可以通過剛體變換的方式。空間中一個座標系，總可以通過剛體變換轉換到另外一個個座標系的。轉一轉，走一走，就到另外一個座標系下了。以前可能是面朝大海，經過平移旋轉，最終可能只能面朝冰山了，哈哈

下面讓我來看一下，二者之間剛體變化的數學表達。

其中，X_C代表攝像機座標系，X代表世界座標系。R代表旋轉，T代表平移。R、T與攝像機無關，所以稱這兩個參數爲攝像機的外參數(extrinsic parameter)可以理解爲兩個座標原點之間的距離，因其受x,y,z三個方向上的分量共同控制，所以其具有三個自由度。

         R則爲分別繞XYZ三軸旋轉的效果之和。如下面所示：

 R=r1*r2*r3.其由三個方向的θ控制，故具有三個自由度。

           好了，剛體變換就講完了。大家應該都瞭解，世界座標系到攝像機座標系之間的轉換過程了吧。

          接下來，讓我們看看攝像機座標下的座標如何投影到圖像座標系下，最終變爲照片中的一個像素。這其中包含兩個過程：一是從攝像機座標到“空間圖像座標”（x,y）所發生的透視投影；二是從“連續圖像座標”到“離散圖像座標”(u,v)。後者我們已經在第一篇博文中解釋過。所以在這裏，主要介紹一下透視投影。

         透視投影(perspective projection): 用中心投影法將形體投射到投影面上，從而獲得的一種較爲接近視覺效果的單面投影圖。有一點像皮影戲。它符合人們心理習慣，即離視點近的物體大，離視點遠的物體小，不平行於成像平面的平行線會相交於消隱點(vanish point)。

         囉嗦這麼多，其實大家看看示意圖，看看公式，秒懂。

  以圖中B(X_B,Y_B)點爲例，在小孔成像攝像機模型下（幾何分析的最常用模型）。這裏的f爲攝像機的焦距，其屬於攝像機的內參數(intrinsic parameter)。其在成像平面上的投影點b(x_b,y_b)的座標利用簡單的相似三角形比例關係很容易求出：

上面兩式也闡明瞭攝像機座標與圖像座標之間的透視投影關係。

            好吧，現在玉米已經把圖像座標與世界座標之間的這場對話所需經歷的三個波折的過程加以瞭解釋。即：剛體變換、透視投影、(x,y)換(u,v)（ps.這個在上一篇博文中講過）。接下來玉米用一張圖把三個過程連接起來。實現從世界座標(X,Y,Z)到(u,v)之間的轉換。讓圖像座標與世界座標直接對話。

         下圖中的轉換關係，都是用齊次座標表達的，大家會發現這樣的表達非常整潔。

         其實這張圖顯示的過程還有一個名字：攝像機模型(camera model)。其實也就是攝像機的幾何模型了。

         將三者相乘，可以把這三個過程和在一起，寫成一個矩陣：

P就是世界座標到圖像座標的直接聯繫人，P就表示了一個投影相機，有下面公式：

注意在表示齊次座標時，需要在符號上面加個小帽子。除去齊次座標控制位P_23，P具有11個自由度。

       攝像機模型及其中涉及的座標系等，是弄清3D重建幾何框架的基礎。可以把它們視爲基本運算關係。後面對於三維重建幾何框架的推導，都是要用到三個基本座標系和攝像機模型的。

        </div>
            </div>