求解圖像基礎矩陣

原創

yiyi-m

2020-04-24 07:16

一、基礎矩陣

1.1 對極幾何

對極幾何是描述兩視射影幾何的基本工具，當我們使用兩個相機在不同位置對同一場景進行拍攝時，爲了描述兩幅圖像之間的關係，引入對極幾何。對極幾何是兩幅圖像之間，兩幅圖像上的匹配點與以基線（連接兩攝像機中心的直線）爲軸的平面束的交的幾何。

已知兩個攝像頭的光心和，爲空間中的一點，和是點在兩個攝像頭成的像中的投影。平面稱爲外極平面，顯然和是和上的，所以該5點共面。外極平面與兩個相機的視平面相交於線和，這兩條直線稱爲外極線。在上，′在上。和與相關視平面相交於點和，這兩個點分別爲和在對方視平面的投影,，稱點和爲外極點。如下圖所示：

假設和分別是空間中同一點在兩個不同視平面上的像點，則一定在上，一定在上，這就是外極線約束。外極幾何可以用一個3階秩2矩陣來表達，即基礎矩陣。

對極幾何的幾個概念：

基線：連接兩個相機中心的連線。圖中直線C1C2。
對極平面：一張包含基線的平面。圖中如平面XC1C2（灰色平面）。
對極點：基線與像平面的交點，等價的，對極點是在一幅視圖中另一個相機中心的像，也是基線方向的消影點。圖中e1和e2。
對極線：對極平面與兩個圖像平面的交線。一個圖像中所有對極線相交於對極點。圖中x1e1和x2e2。

1.2 基礎矩陣原理

要尋找兩幅圖像之間的對應關係，最直接的方法就是逐點匹配，如果加以一定的約束條件對極約束(epipolar constraint)，搜索的範圍可以大大減小，基礎矩陣就是描述了圖像中任意對應點 x↔x’ 之間的約束關係，其中F爲33的矩陣：

基礎矩陣是對幾何的代數表達方式。其估計方式是通過兩幅圖像中匹配點來估計的，爲了降低誤匹配和圖像噪音的影響，我們可以使用SIFT匹配來減少錯誤匹配，同時可以採用RANSAC。

1.3 歸一化8點法

原理如下：對於兩幅圖像的匹配點X和X'，必須滿足根據兩個視外對極幾何：

$x^{'}Fx=0$

此方程是關於 F 的9個未知參數的線性齊次方程。由於F在相差一個常數因子意義下是唯一的，所以將其中一個非零參數歸一化變爲8個未知參數，因此只要得到8個匹配點就可以線性確定F，這就是所謂的8點法。設 $m=\begin{bmatrix} u &v &1 \end{bmatrix}^{T},m^{'}=\begin{bmatrix} u^{'} & v^{'} &1 \end{bmatrix}^{T}$ 分別是兩圖像中對應點的歸一化座標，F爲基礎矩陣 $F=\begin{bmatrix} F_{11} & F_{12} & F_{13}]\\ F_{21} & F_{22} &F_{23} \\ F_{31} & F_{32} & F_{33} \end{bmatrix}$ ，將F寫成由各個元素組成的矢量，即 $f=\begin{bmatrix} f_{1} &f_{2} &f_{3} &f_{4} &f_{5} &f_{6} &f_{7} &f_{8} &f_{9}} \end{bmatrix}^{T}$ ，則對其中X和X’分別表示兩幅圖像中的對應點的齊次座標。若兩幅圖有若干對應特徵點，則有：