文章標題As-Projective-As-Possible Image Stitching with Moving DLT，來自CVPR 2013，文章主頁，PDF。

摘要

本文主要目的是做圖像拼接，使用MovingDirect Linear Transformation (MDLT)算法，強調全局投影(Globallyprojective)特性，同時允許局部非投影(local non-projective)偏差，能夠有效的避免兩幅圖像重合部分的重影現象，降低了對準的誤差，再幾何上看起來更加逼近真實，畸變更小。

投影變換(Projective warp)，逼近仿射變換(As-affine-as-possible warp)與本文的逼近投影變換(As-projective-as-possible warp)進行對比，如下圖。（此圖未完全看懂，誰看懂了說一下）

主要算法

文章使用的是Moving DLT算法，那麼首先就要搞清楚什麼是DLT算法。在兩幅圖片和中有一對匹配的點對，原始圖像(Source Image)中的點 ${\bf{x}} = {\left[ {x\ y} \right]^T}$ 與目標圖片(Target Image)中的點 ${\bf{x}}' = {\left[ {x'\ y'} \right]^T}$ ，投影變換或者說單應矩陣（對極幾何中的基礎矩陣？本質矩陣？）要做的事就是得到一個映射關係

$\widetilde{\bf{{x}}'} = {\bf{H\widetilde{x}}}$

此公式中的 $\widetilde{\bf{x}}$ 表示 $\bf{x}$ 的其次座標，即 $\widetilde {\bf{x}}={\left[ {{{\bf{x}}^T}\ 1} \right]^T}$ ， ${\bf{H}} \in\mathbb{R} {^{3 \times 3}}$ 爲單應矩陣。在非其次座標中，有如下對應關係：

$x'=\frac{h_1^T{\left [ x\ y\ 1 \right ]}^T}{h_3^T{\left [ x\ y\ 1 \right ]}^T}$ ， $y'=\frac{h_2^T{\left [ x\ y\ 1 \right ]}^T}{h_3^T{\left [ x\ y\ 1 \right ]}^T}$

其中的

代表單應矩陣 $\bf {H}$ 中的第j行，並且此處映射爲非線性映射。DLT算法就是計算單應矩陣 $\bf {H}$ 的一種基礎算法。
此處文章直接給出來了一個公式，說根據公式1直接得到了 ${{\bf{0}}_{3 \times 1}}={\bf{\tilde x}}' \times {\bf{H\tilde x}}$ ，下面我稍微解釋一下上面這個公式是怎麼來的，from wiki。

設有半正定矩陣 $\bf{B}$ ，使得 ${\widetilde{\bf x}}{'^T}B{{{\bf{\widetilde x}}}'} = 0$ 。由於 $\widetilde{\bf x}'\in\mathbb{R}^{3\times 3}$ ，所以共有3＊2/2=3個這樣的 $\bf B$ 。

${B_1}=\begin{bmatrix} 0 & 0 & 0\\ 0 & 0 & -1\\ 0 & 1 & 0 \end{bmatrix}$ ， ${B_2}=\begin{bmatrix} 0 & 0 & 1\\ 0 & 0 & 0\\ -1 & 0 & 0 \end{bmatrix}$ ， ${B_3}=\begin{bmatrix} 0 & -1 & 0\\ 1 & 0 & 0\\ 0 & 0 & 0 \end{bmatrix}$

令 $\left [ \widetilde{\bf {x}}' \right ]_\times =\begin{bmatrix} \widetilde{\bf {x}}'^T\bf{B}_1\\ \widetilde{\bf {x}}'^T\bf{B}_2\\ \widetilde{\bf {x}}'^T\bf{B}_3 \end{bmatrix}$ ，則有：

${\bf{0}_{3 \times 1}}=\left[ {\widetilde {\bf x}}' \right]_ \times {\widetilde {\bf x}}'=\left[ {\widetilde {\bf x}}' \right]_ \times \bf {H} {\widetilde {\bf x}}=\begin{bmatrix} {\bf{0}_{1 \times 3}} & -\widetilde{\bf x}^T & y'\widetilde{\bf x}^T\\ \widetilde{\bf x}^T & {\bf{0}_{1 \times 3}} & -x'\widetilde{\bf x}^T\\ -y'\widetilde{\bf x}^T & x'\widetilde{\bf x}^T & {\bf{0}_{1 \times 3}} \end{bmatrix}$ ， $\bf h = \begin{bmatrix} \bf{h}_1\\ \bf{h}_2\\ \bf{h}_3 \end{bmatrix}$

由於 $\widetilde{\bf x}'^T{\bf B}_i$ 的秩爲2，所以 $\left [ \widetilde{\bf x}' \right ]_\times$ 的秩也爲2，這樣子我們設 $\bf{a}_i \in \mathbb{R}^{2\times 9}$ 爲上面矩陣的前兩行，i代表第i個匹配點對。則矩陣H的目標函數：

$\widehat{\bf {h}}=argmin\sum_{i=1}^{N}\left \| {\bf {a}}_i \bf {h} \right \|^2=argmin\left \| {\bf {A}} \bf {h} \right \|^2$ ，subject to $\left \| \bf{h} \right \|=1$

重新排列後得到矩陣H。 $\bf{A} \in \mathbb{R}^{2N\times 9}$ ，將 ${\bf{a}}_i$ 縱向排列得到。解爲A奇異分解右側的矩陣。如此，對其他像素根據單應矩陣做一次線性變換即可。由於是整幅圖片使用一個單應矩陣，所以只適用於旋轉角度不大的情況，本文對此做出改進，在計算 ${\bf{H}}_\ast$ 時採用加權估值，使用