Parallax-tolerant Image Stitching - 解決大視差圖片拼接的方法

Paper name

Parallax-tolerant Image Stitching

Paper Reading Note

URL: http://web.cecs.pdx.edu/~fliu/papers/cvpr2014-stitching.pdf

TL;DR

• 該篇文章作爲13年EG的seam-driven stitching的改進版，作者提出新的發現是基於seam-driven的方式在一定程度上不需要兩張待拼接圖片被完全對齊，某些關鍵part被對齊後基於seam-driven的方式也可以獲取視覺觀感很好的拼接圖片。於是作者提出了新的對齊效果評估方式、similarity transformation與content-preserving warping進一步提升對大視差場景的拼接效果

---

Introduction

• 現有的seam cuting和blending方法難以解決由於視差較大、場景景深差異大影響的拼接圖像嚴重不對齊問題
• spatially-varying warping算法相比於使用單個homography可以更好解決視差問題，但是在極大視差下依然不work，如下圖所示的hard case，第一張待拼接圖中的水平幾何關係是卡車->煙筒->樹，但是第二張待拼接圖中的水平幾何關係是卡車->樹->煙筒，在這種情況下待拼接圖像需要被摺疊後才能與另一張圖像進行對齊，這對於warping方式來說是很難的
  
• 作者認爲在圖像拼接任務中並不需要完全使overlap區域的像素點完全對齊，而只需要在待拼接圖像的overlap區域中找到一個局部區域使得兩張圖片能夠較好拼接起來，作者成這種方式爲local stitching

---

Dataset/Algorithm/Model/Experiment Detail

實現方式

• 作者認爲實現較好的拼接效果需要同時考慮到Homography與content-preserving warping，Homography可以保持圖像全局幾何信息但是難以解決視差問題；content-preserving warping可以更好解決視差問題，但無法較好保持圖像幾何關係
• 但是在大視差場景下，使用一個較好對齊的Homography與局部區域的對齊質量是兩個有衝突的目標，作者提出了一種粗對齊然後基於content-preserving warping方式來改善對齊效果

1. 對齊模型選擇

• 兩種流行的對齊方案
  • 全局的2D變換，通常稱爲Homography
  • spatially-varying warping，比如content-preserving warping
• 作者結合這兩個方法來進行圖像對齊，首先選擇一個種子特徵點，逐漸增加種子特徵點周圍的特徵點來擬合一個2D的變換，作者使用一個較大的擬合閾值來儘量包含周圍更多的特徵點，這雖然會使得兩圖的特徵點無法完全對齊，但是後續的content-preserving warping方法會一定程度修復這個問題

2. 對齊質量評估

• 一種直接的拼接質量評估方法是首先使用homography對待拼接圖像進行warp操作，然後實施content-preserving warping，通過對比warp後的圖片與參考圖片來評估圖片是否良好拼接，但是該方法速度較慢，因爲每次評估都需要進行content-preserving warping這樣的耗時操作
• 作者提出了一種評估對齊質量的方式：
  • 對輸入的待拼接圖片進行邊緣信息提取（Canny邊緣檢測方法），低通濾波用於容忍較小的不對齊現象
  • 計算warp圖片與ref圖片的邊緣差異能量圖，基於Graphcut算法搜索出一條最優拼縫，graphcut實施的具體方式是將overlap區域的邊緣差異能量圖的每個像素都作爲一個圖節點，然後基於以下邊緣損失搜索最優的拼縫：
• 最優Homography搜索
  • 一些homography會達到seamless的拼接，但是會引起圖片中部分part嚴重變形的情況，通過檢測perspective distortion來確定選出來的由部分特徵點擬合的H與全局最優的H的差別，找到與全局最優的H最擬合的單應變換矩陣
    

3. 對齊算法細節

• 作者所提出的整套拼接算法細節：

1. 檢測並匹配SIFT特徵，生成edge maps；
2. 隨機選取一個特徵點，然後組合近鄰的特徵點搜索出一個最佳的homography，對於已經被選取過的特徵點會增加懲罰項使得之後的選取過程中不容易被重複選取；
3. 評估基於步驟2得到的最佳的homography的拼接效果，如果符合預先設定質量評估閾值，則進行步驟4，否者返回步驟二重新選擇最佳的homography，實在搜索不到符合閾值的情況就選擇一個上述重複進行第二步所得到的最佳homography；
4. 基於上述得到的最佳homography進行初步對齊，然後使用基於特徵點指導的content-preserving warping來進行精對齊

• content-preserving warping的細節
  • 僅使用content-preserving warping一般無法很好對齊所有的overlap區域，所以content-preserving warping一般用於在初對齊步驟後進行精對齊
  • content-preserving warping的主要是將整圖warping問題轉換爲mesh warping問題，mesh warping被定義爲一個優化問題，目標是將初對齊的結果進一步對齊到ref圖片上，用於避免可察覺的抖動，作者定義了Local alignment term，Global alignment term，Smoothness term作爲優化目標：
    

實驗結果

• 與經典的Photoshop, AutoStitch, as-projective-as-possible stitching(APAP)等方法比起來對大視差場景有更好的效果
  
  

Thoughts

• 作者提出了一種新的對齊方式來解決大視差問題，除非視差很大並且overlap區域中都是salient目標時，一般都能較好完成拼接
• 該方法提出的最優homography搜索以及content-preserving warping兩個步驟就需要消耗cpu20-40s的處理時間，在實時拼接上的應用價值還有待探索