1. pinhole camera model 小孔相機模型【cs231a課程筆記】

1.1. pinhole camera model

數碼相機的鏡頭相當於一個凸透鏡 + 小孔成像

理想化的相機模型是線性模型（實際是非線性模型）：

retinal plane 視網膜平面
camera coordinate system（camera reference system）攝像機座標系
camera calibration 相機標定

將三維攝像機座標系中的P點映射到二維image plane中的P’

pinhole（center of the camera）：$O$
focal length： $f$
$OC'$稱作optical axis 光軸

$P[x, y, z]^T$轉化到$P'[x', y']^T$

相似三角形$P'C'O$和$PO(0,0,z)$

$P'=[x', y']^T=[f*x/z, f*y/z]^T$

aperture size越大，成像越模糊，越亮

所以 小aperture + lenses(透鏡)

1.2. lens-based model (paraxial refraction model)

(凸)透鏡相機模型（軸旁折射模型）

只有$P$點所在的平面（焦平面）是清晰的（in focus），有了焦距（景深）的概念

$P'=[x', y']^T=[z'*x/z, z'*y/z]^T$

上式依據：對於焦平面上的點，$PP'$過透鏡中心$O$點

distortion

radial distortion(徑向畸變):
pincushion distortion(枕形畸變) and barrel distortion(桶形畸變)

1.3. digital image space

加上image plane（film）(原點在k軸和平面交點處，一般是圖片中心點）和image（原點在圖片左下角）之間的關係C

$P'=[x', y']^T=[z'*x/z + c_x, z'*y/z + c_y]^T$

加上現實距離和像素距離之間的關係$k,l=pixeks/cm$，若$k=l$，則相機有正方形像素。

$P'=[x', y']^T=[z'*k*x/z + c_x, z'*l*y/z + c_y]^T=[\alpha*x/z + c_x, \beta*y/z + c_y]^T$

homogeneous coordinate system 齊次座標系

我們認爲歐式空間中的（x，y，z）等價於齊次座標系中的（x，y，z，1），所以我們認爲齊次座標系$(v_1,...,v_n,w)$等價於歐式空間$(v_1/w,...,v_n/w)$

$I$ 是 3×3
$K$ 是camera matrix
上式中不包含skewness（傾斜）和dissortion（畸變）

下圖中加入skewness,其中$\theta$是座標系夾角與90度的差

大多數本課程講述的方法忽略了distortion，故最終final camera matrix有5個自由度：
2個關於focal length: $\alpha, \beta$
2個關於offset: $c_x, c_y$
1個關於skewness: $\theta$

1.4. an arbitrary world reference system to image plane

before：將三維攝像機座標系映射到二維image plane

加入選擇矩陣 rotation matirx R和平移向量 tranlation vector T

與之前結合化簡

M中包含了intrinsic和extrinsic參數，K是內參，[R, T]是外參。

M有11個自由度，5個內參自由度，3個外參（旋轉），3個外參（平移）

1.5. Camera Calibration

用images推斷內參

deduce 推斷
calibration rig 標定臺

$p_i$是照片中的i點，$P_i$是3D空間中的點，m1,m2,m3是M的三行（歐式空間和齊次座標系變換）


對於n個圖片，寫成矩陣形式：

trivial solution平凡解
overdetermined過定的（含有線性相關的兩列）
scalar標量

用SVD（分解奇異值）：$P=UDV^T$，$V^T$與m合併爲某常數乘M，約束條件變爲$|M|=|V^Tm|=|V^T||m|=1$(單位正交陣的行列式爲1或-1)

進一步有

解得

退化形態（degeneration configuration）：
不是所有情況都能有解，比如圖片都在一個平面上（線性無關的方程數量小於未知數數量（11））

1.6. Handling Distortion in Camera Calibration

通常畸變是對稱的，以爲透鏡是對稱的，所以用一個isotropic transformation（各向同性變換）表示

變換一下：

但這不是線性的，我們可以尋找其他辦法（比如利用比值（不變的））



可以使用SVD求解（類似上面）

求出m1,m2,再用$\lambda$可以求m3,仍然是非線性優化問題，但簡單很多

1.7. Rigid Transformations

rotation，translation，sacling