權龍論文(2)——Accurate, Scalable and Parallel Structure from Motion

本文解決的問題:

解決了大規模圖像SFM方法精確性問題,尤其在解決相機定位問題上效果顯著。


本文主要貢獻:

1.相機聚類算法:我們將所有相機和相關圖像分成簇,並利用這樣的公式化來處理後續軌道生成,局部增量SfM和最終束調整,以可擴展和並行的方式進行。

2.利用增量和全局SfM實施運動平均方法:我們將局部增量SfM的相對運動應用於全局運動平均框架,並獲得比最先進方法更準確和強大的全局相機姿態。


1.相機聚類算法

我們首先介紹一種攝像機聚類算法,將原始SfM問題分解爲幾個較小的可管理子問題,這些問題涉及攝像機和相關圖像的集羣。具體來說,我們的攝像機聚類的目標是找到攝像機羣集,使得每個羣集的所有可擴展SfM操作適合單個計算節點以進行有效處理(大小約束),並且所有羣集具有足夠的重疊攝像機以及相鄰羣集。當在運動平均框架(完整性約束)中將相應的部分重建合併在一起時,保證完全重建。
總之,就是把相機和相關圖像分成簇,局部增量SFM的計算量與單個計算機節點的計算能力相匹配。

3.2.1 Clustering Formulation

我們的目標是將原始相機圖G = {V,e}劃分爲一組子圖{Gk|Gk={Vk,Ek}},子圖具有重疊頂點和相關的邊。

1.相機圖G = {V,e};其中每個節點Vi ∈V代表攝像機Ci∈C
2.權重爲w(eij)的每個邊緣eij ∈ E連接兩個不同的攝像機C i和C j;因此,我們將邊權重w(eij)定義爲特徵對應的數量,即w(eij)= |Mij|。

3.2.2 Clustering Algorithm

從原始相機圖G = {V,e}的主要連通分量開始,我們設計了一個三步算法來解決相機聚類問題。我們在圖中說明了該算法的示例輸出。
在這裏插入圖片描述
我們的相機聚類算法的圖示。 對於每個最終子圖,在圖擴展步驟之後新添加的頂點和邊(用半透明顏色標記)也包含在一些其他子圖中。

  1. Graph simplification
    我們修剪相機圖G = {V,e}的邊緣,有效地降低了剩下的兩個步驟的複雜性。簡化圖G = {V,e’}應該滿足每個頂點Vi ∈V的度低於閾值λd(λd= 80)。然後,我們按邊緣權重w(eij)按升序對所有圖形邊緣進行排序,並貪婪地丟棄具有最低權重的邊緣以及任何連接的兩個頂點大於λd的度數。我們迭代地執行邊緣移除,直到每個圖節點滿足度約束。
  2. Graph division
    我們通過遞歸地分割相機簇來保證尺寸約束。更具體地,不符合尺寸約束的相機集羣被分成更小的組件。從簡化圖G’開始,我們迭代地應用歸一化切割算法[10],其保證無偏頂點分區,將不滿足大小約束的任何子圖Gi劃分爲兩個平衡子圖Gi1和Gi2,直到沒有子圖違反大小約束。直觀地說,具有大量共同特徵的相機對具有高邊緣權重,不太可能被切割。
  3. Graph expansion
    我們通過在相鄰的相機集羣之間引入足夠的重疊相機來實施完整性約束。
3.3. Camera Cluster Classification

來自聚類算法的相機聚類可以分爲兩類,即獨立和相互依賴的相機聚類。


2.利用增量和全局SfM實施運動平均方法
4.1. Track Generation

可擴展SfM的第一步是利用成對特徵對應關係在所有圖像上生成全局一致的軌跡,問題可以通過標準的Union-Find [35]算法來解決。。然而,隨着輸入圖像集合的大小擴大,逐漸變得不可能同時將所有特徵和相關匹配文件加載到單個計算節點的存儲器中以用於軌道生成。因此,我們基於分層相機集羣樹Tc來執行軌道生成

4.2. Local Incremental SfM

對於由子圖Gk ={Ek,Vk}表示的每個相互依賴的相機簇的相機和相應軌道,我們以並行方式在每個計算節點上執行後續的局部增量SfM。局部增量SfM在每個新添加的攝像機[29]的姿態估計中考慮N視圖(≥3),並且將基於RANSAC [6]的濾波器與重複的局部束調整[57] 有效地組合,丟棄錯誤的特徵對應和基本矩陣。

4.3. Motion Averaging

4.3.1 Preprocessing
首先,我們僅利用與具有足夠公共軌道(≥12)的相機對相關聯的相對運動來進行後續運動平均,並且這種預處理顯著地降低了接下來的計算複雜度。我們遵循最先進的[5]用於高效和穩健的旋轉平均。

4.3.2 Translation Averaging
我們通過最小化由Et = Ec +αEp定義的平移成本函數Et來改進高效且有原則的平移平均方案[55],其中Ec和Ep分別是攝像機到攝像機和攝像機到點的平均成本函數,α讓Ec和αEp的初始值相等。

Camera-to-camera relative translation
給定輸入攝像機C = { Ci },投影矩陣用{Pi|Pi=Ki[Ri|-Rici]}表示,一組攝像機到攝像機的相對平移Tc = { tij },攝像機到攝像機平移成本函數Ec可以表述爲:
在這裏插入圖片描述

Camera-to-point relative translation
最先進的工作[55]提到,通過相機到點相對平移的平移問題的增加通常會引入噪聲結構和運動,因爲相機和軌道之間存在巨大的錯誤連接。由於局部增量SfM由基於RANSAC [6]的濾波器組成,能夠丟棄異常的光譜跟蹤對應和束調整[53],以非線性最小二乘方式進一步優化相對運動,**從局部增量SfM恢復的相機和軌道集羣中,我們可以得到相機到點的相對平移,我們可以直接把該相對平移應用到我們的平移平均公式。**更具體地,給定輸入相機C = { Ci },其投影矩陣由{Pi|Pi=Ki[Ri|-Rici]}表示,它們的可見稀疏3D點P ={pj}以及相機和對應相機的可見3D點的相對平移T p ={tij},攝像機到點平移成本函數Ep定義爲:
在這裏插入圖片描述

4.4. Bundle Adjustment

我們遵循Eriksson等人[14]提出的用於分佈式束調整最先進的算法。由於,這項工作[14]宣稱對攝像機的分區沒有限制,我們直接將獨立的攝像機組和相關的攝像機,軌道和投影稱爲束調整的目標函數的子問題。對於每個獨立的攝像機羣集,我們根據基於平均全局相機幾何結構的局部增量SfM驗證的特徵對應,用足夠的可見相機(≥3)對其相應的3D點進行三角測量[31]。


我們的管道能夠以高度可擴展和並行的方式處理城市規模的SfM問題,特別是相機標定,其規模遠遠超過最先進的方法,並且最終能夠生成高度準確和一致的相機幾何,用於隨後的密集立體重建。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章