1. 爲啥做圖像配準
比較或融合針對同一對象在不同條件下獲取的圖像，例如圖像會來自不同的採集設備，取自不同的時間，不同的拍攝視角等等，有時也需要用到針對不同對象的圖像配準問題。
2. 圖像配準的定義
具體地說，對於一組圖像數據集中的兩幅圖像，通過尋找一種空間變換/幾何變換(Spatial Transformation/Geometric Transformation)把一幅圖像映射到另一幅圖像，使得兩圖中對應於空間同一位置的點一一對應起來，從而達到信息融合的目的。
下圖給出了圖像配準的直觀示例：
這是典型的同一目標也就是Instance-level配準。但是，現在流行的已經不再是同一目標，同一instance級別的配準， 而是來自同一類別的不同對象—Category-level Semantic Alignment的配準問題.
3. 圖像配準具體要做啥？
3.1 利用神經網路的對齊的原理：
Source and target images are passed through an alignment network used to estimate the geometric transformations.
把一對圖像傳入一個對齊網絡，然後得到一個幾何變換，這樣有了這個幾何變換，也就實現了對齊。
是的， 確實是這樣的，因爲在論文End_to_end Weakly-supervised Semantic Alignment論文裏有以下的陳述：
Given a pair of images, an alignment network estimates the geometric transformation that aligns them.
由上可知，確實是由geometric transformation來對齊他們。
4. 語義圖像配準(Semantic Alignment)具體要做啥？
要去尋找一種空間變換(這就是外文論文中常用的Geometric Transformation), 使得經過這個變換後， 在新的空間下， 來自兩幅圖像中的同一目標(如果是Instance-level)或者同一對象（如果是Category-level）的語義一致的點要在位置上對應起來。（這是目前我的理解，可能還需要進一步完善。）
這就是爲什麼論文中總是提到estimating a simple transformation. 論文Convolutional neural network architecture for geometric matching中提到的轉換層次的idea和pipeline如下：
Idea:
因爲背景雜波的存在，估計一個complex transformation是很難而且計算上inefficient的。 所以a robust and fast rough estimate of a simpler transformation can be used as a starting point.
- Start by estimating a simple transformation
- And then progressively increase the model complexity
Pipeline:
- Starting by estimating an affine transformation(可以對下列情形建模：Translation平移, rotation旋轉, non-isotropic scaling非各向同性縮放 and shear剪切)
- Aligning image B to image A by the estimated affine transformation 我的理解是剛好網絡能學習到到底這倆個圖像對差什麼，然後利用學到的，把一個變到另一個。從而實現對齊，不是找到新座標系，然後把兩個都變到同一個座標系下再看。還是確實是在同一座標下？
- The aligned images are then passed through a second geometry estimation network which estimates 18 parameters of a thin-plate spline (TPS插值) transformation.
- The final estimate of the geometric transformation is then obtained by composing the two transformations (The affine transformation and thin-plate spline transformation), which is also a thin-plate spline.
圖像配準方法的分類
根據變換性質：剛體(rigid)變換和非剛體(non-rigid)變換
持續更新中…感興趣請關注以便及時查看到更新。
1. 爲啥做顏色校準？
因爲在涉及利用外觀Appearance的任務中，顏色是很重要因素。Appearance-based methods still suffer from color balancing and calibration issues.
特殊情況
有時候，也不做顏色校準，因爲圖像源被認爲已經校準。
2. 相機配準
The position and internal calibration of the acquiring camera are known, i.e., the relations between the image plane, the camera optical center, and the world coordinate reference are defined.
採集攝像機的位置和內部校準是已知的， 也就是圖像片面和相機光學中心，還有世界座標系的關係都是預先定義好的。 相當於做了假設，我們直接用，不用管。