參考文獻
Xie C, Zhang X, Yang H, et al. Video Stitching Based on Optical Flow[C]//2018 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB). IEEE, 2018: 1-5.
摘要
視頻拼接在計算機視覺中仍然是一個具有挑戰性的問題，特別是對於移動物體周圍廣泛存在的僞像，包括視差，鬼影等。傳統方法通常依賴於單個投影模型，這可能導致重疊區域中移動物體的不準確對應。 在本文中，我們利用重疊區域中的光流場，提供像素密集投影，從而可以大大減少僞影。 然而，由於非重疊區域的投影是根據重疊區域的投影計算的，因此我們建議自動選擇左框架或右框架作爲參考，以避免當物體在重疊區域和非重疊區域之間的邊界上移動時的不一致變換。 實驗結果證明了我們的方法優於移動物體周圍的最先進的方法。
簡介
視頻拼接是將包括重疊區域在內的多個視頻合併爲全景視頻的過程[1]。視頻拼接的神聖目標是獲取儘可能自然的大視圖視頻。由於在安全監控，虛擬現實和醫療問題分析中的廣泛應用，視頻拼接已成爲近年來的熱門話題。
在過去幾年中，圖像拼接已經成爲一個相對成熟的領域。有許多方法可以消除視差[2] [3]，削弱曝光差異並減少重影[4]。但與圖像拼接相比，視頻拼接的工作到目前爲止非常有限。馬裏烏斯等人 [5]提出了一種從陣列攝像機生成實時全景視頻的系統。有些方法對視頻序列中的所有幀使用一個公共對齊[6]。雖然它可以保持全景視頻穩定並節省大量時間，但通常會導致無法消除重影。這種缺點通過APAP方法[2]得到緩解，該方法提出了一種移動直接線性變換來弱化或微調投影扭曲以減少重影。
大多數先前的視頻拼接方法在合成階段[6] [7]中使用縫合切割，當移動物體穿過接縫時，這會導致重影效應。爲了克服這個問題，許多方法每幀都會改變接縫的位置，以避免儘可能多地移動通過接縫的物體。此外，提出了一種快速穩定的焊縫選擇算法[8]，以減少由連續視頻幀之間的顯着縫隙移動引起的僞影。在[9]中已經提出了在重疊的空間時間體積上使用3D圖形切割的縫合縫。如圖1所示，即使這些方法做出了一些貢獻，它們仍然無法消除嚴重的鬼影，特別是在移動物體周圍。
最終全景視頻具有鬼影的原因可以分爲兩個方面：
- 1）左右幀之間的單個無變形投影模型是不夠的。
- 一方面，傳統方法總是使用單變換單應法將一幀映射到另一幀。左右幀之間的像素無法獲得非常準確的對應關係。
- 另一方面，許多方法對視頻序列中的所有幀使用不變的變換單應性，而不考慮視頻內容的變化。
- 2）切縫對移動物體有巨大影響。
- 當移動物體穿過接縫時，它們的結構將很容易破裂，或者移動物體周圍會出現鬼影。爲了解決這些問題，本文提出了一種基於光流的視頻拼接方法。光流[10]可以估計兩幀之間的位移場。它是2D矢量場，其中每個矢量是位移矢量，表示從第一幀到第二幀的點的移動。
- 爲了克服單個投射模型導致相應不準確的缺點，使用光學流場在左右幀之間的重疊區域中實現像素密集投影。換句話說，重疊區域中的每個像素都擁有其典型的投影模型。因此，可以在所提出的方法中獲得更準確的對準。此外，在合成階段，僅需要對相應的像素進行加權以獲得最終的全景幀。也就是說，在所提出的方法中不需要縫合切割。我們不需要考慮由連續視頻幀之間的戲劇性接縫移位引起的僞影。總而言之，移動物體可以更好地匹配。
本文的其餘部分安排如下。所提出的算法在第2節中給出。第3節顯示了我們爲檢驗所提出的方法而進行的實驗。最後，第4節給出了結論。
算法流程：
實驗結果：
由於沒有公開的視頻拼接基準數據，我們在我們捕獲的兩組視頻上評估所提出的方法。視頻數據集由兩個具有不同視圖的固定攝像機捕獲，這些攝像機是同步的。爲了證明我們方法的穩健性，我們選擇兩個不同的場景來涵蓋一系列具有挑戰性的案例：室內場景和室外場景。室外場景總是寬闊明亮，但室內場景相對狹窄，黑暗。三組視頻均由相同類型的相機拍攝，並且在30fps時爲720p（1280×720）。由於參考幀可以交替更改，因此全景圖有兩個視圖。我們將具有右視圖的幀映射到左視圖[14]。在我們的實驗中使用了密集的光流場，這是通過重複使用Liuce的代碼來計算的。比較方法包括具有固定接縫的OpenCV中的Autostitch基線[14]，商業軟件VideoStitch Studio [15]和每幀APAP [2]。在我們的實驗中，我們使用論文作者提供的代碼來獲得比較結果。
對於主觀性能比較，圖4，圖5和圖6示出了幾個對象在重疊區域中移動並且背景保持靜止的幀。在圖4中，AutoStitch在汽車後部有嚴重的重影。視差出現在VideoStitch Studio和APAP方法中。在提出的方法中，運動物體的邊界非常清楚。在圖5中，女孩的腿在AutoStitch方法中被破壞，VideoStitch Studio導致明顯的鬼影。在APAP方法中，女孩的腿周圍也有很多鬼影。在圖6中，女孩的頭部在AutoStitch方法中扭曲，VideoStitch Studio中的裙子和鞋子周圍有明顯的鬼影。在APAP的女孩身上也可以找到鬼影。
很明顯，大多數視差和鬼影都在移動物體周圍，因爲移動物體正在經過縫隙切割或單個投射模型無法非常精確地匹配像素。但是，我們的方法沒有這些工件。移動物體的邊界相對清晰，不存在視差，這些視差受益於重疊區域之間的精確對應。
結論：
在本文中，我們提出了一種基於光流的新型視頻拼接方法，可以進行像素投影。 我們的方法可以使像素的對應性比傳統方法更準確。 實驗結果表明，我們的方法比最先進的視頻實現了更好的全景視頻。 我們的算法進一步減少了移動物體周圍的重影和視差。 通過我們的方法獲得的全景視頻也非常自然。將來，我們想加快算法速度。