Bundle Adjustment — A Modern Synthesis（一）

author: Bill Triggs , Philip F. McLauchlan, Richard I. Hartley, and Andrew W. Fitzgibbon

Abstract

這篇論文是對攝影測量光束平差法/束調整/捆綁調整(bundle adjustment， 以下簡稱BA)的理論和方法的調查，針對計算機視覺社區中的潛在實施者。BA是以生成聯合的最佳結構和查看參數(相機的位置和方向 和/或 標定)估計來改進視覺重建的問題。覆蓋的主題包括：成本函數（cost function）和魯棒性的選擇；數值優化包括稀疏牛頓法，線性收斂近似法，更新和遞歸法；度量(Gauge)（基準）不變性； 和質量控制。該理論是爲一般穩健的成本函數開發的，而不是將注意力侷限於傳統的非線性最小二乘法。
Keywords: Bundle Adjustment, Scene Reconstruction, Gauge Freedom, Sparse Ma-
trices, Optimization.

1 Introduction

本文是面向計算機視覺社區，特別是針對已經對BA方法有所瞭解的潛在實施者關於BA理論和方法的概述。大多數結果很久以前就出現在攝影測量學和大地測量學文獻中，但是許多結果似乎在視覺上鮮爲人知，因此逐漸被重新發明。通過提供一種可訪問的現代綜合方法，我們希望能夠避免這種重複工作，糾正一些常見的誤解，並通過促進視覺和攝影測量學界之間的互動來加快視覺重建的進度。

BA 是以生成聯合的最佳結構和查看參數(相機的位置和方向 和/或 標定)估計來改進視覺重建的問題。最佳意味着通過最小化量化模型擬合誤差的某些成本函數來找到參數估計值，並且總的來說，對於結構和相機變化，解決方案同時是最佳的。該名稱指的是光線“束”離開每個3D特徵點並會聚在每個相機中心，並且對特徵點和相機的位置進行了“最佳調整”。 等效地，與獨立模型方法（independent model method）不同，獨立模型方法合併了部分重建而不更新其內部結構，所有結構和攝影機參數都“在一束中”一起調整。
BA實際上只是一個大的稀疏幾何參數估計問題，這些參數是3D特徵點座標，相機姿態和標定的組合。我們將要說的幾乎所有內容都可以應用於視覺，攝影測量，工業計量，測量和大地測量學中的許多類似估計問題。調整計算是整個測量科學的重要常見主題，一旦瞭解了基本理論和方法，它們很容易適配各種問題。適配在很大程度上取決於選擇一種利用問題結構和稀疏性的數值優化方案。接下來我們將要考慮一些這樣的方案來束調整（BA）。

典型的，是將束調整和類似的調整計算公式化爲非線性最小二乘問題^{1 2 3 4 5 6 7 8 9}。它假設成本函數在特徵重投影誤差中是二次函數，並且通過明確的離羣值篩選來提供魯棒性。儘管它已經非常靈活，但是這種模型還不夠通用。現代系統通常使用非二次M估計分佈模型(M-estimator-like distributional models, 簡稱MDL)來更完整地處理離羣值，並且包括許多與過度擬合，模型選擇和系統性能有關的額外懲罰。因此，我們將不採用最小二乘/二次成本模型。 取而代之的是，將成本建模爲來自獨立信息源（獨立觀測，先驗分佈，過擬懲罰……）的不透明貢獻的總和。這些貢獻的函數形式及其對固定量（如觀測值）的依賴性通常會被隱含。這允許融合許多不同類型的魯棒和非非魯棒的成本貢獻，而不會過度打亂符號或隱藏基本模型結構。它非常適合現代稀疏優化方法（成本貢獻通常是參數的稀疏函數）和以對象爲中心的軟件組織，並且避免了許多繁瑣的鏈式結果顯示。 假定實現者能夠選擇適當的功能並自己計算派生函數。

本文的目的之一是糾正視覺文獻中常見的一些誤解：

• "優化/BA 很慢：" 這種陳述經常出現在介紹另一種啓發式SFM（Structure from Motion）迭代的論文中。他們聲稱的速度緩慢幾乎總是歸因於通用優化例，該例程完全忽略了問題的結構和稀疏性。真正的捆綁（束調整）程序例程比這要有效得多，並且通常比新建議的方法（第6、7節）更加有效和靈活。這就是爲什麼經過40年的研究之後，束調整仍是實際應用中占主導地位的結構細化技術的原因。
• 僅需要線性代數: 這是上面內容的最新變體，可能意味着新技術特別簡單。幾乎所有的迭代優化技術都只使用線性代數，並且束調整比許多方法更簡單，因爲它只求解線性系統：它不使用特徵分解或SVD，它們本身就是複雜的迭代方法。
• Any sequence can be used： 許多視覺工作者似乎對應該事先計劃好重建問題（第11節），然後檢查結果以驗證其可靠性（第10節）的想法非常反感。即使應用程序限制使得使用它們變得困難，系統構建者也至少應該意識到這一點。很少有人會體會到幾何薄弱和缺乏冗餘可以掩蓋嚴重錯誤的特殊程度，參考^{10 11 12 13}。
• "精確地重建了P點:" 在重建中，就像沒有絕對的位置參考一樣，也沒有不確定性。3D座標系本身是不確定的，因爲它只能相對於不確定的重建特徵點或攝像機定位。所有其他特徵和相機不確定性均相對於座標系(幀)表示，並繼承其不確定性，因此在指定了座標系（幀）及其不確定性之前，有關它們的說明無意義。協方差在不同的幀中看起來可能完全不同，尤其是在以對象爲中心的幀與以相機爲中心的幀中。 參見第9節。
• 靈活性： BA可優雅地處理各種3D特徵和相機類型（點，線，曲線，曲面，奇異(exotic)相機），場景類型（包括動態模型和關節模型，場景約束），信息源（2D特徵，強度，3D 信息，先驗）和誤差模型（包括可靠模型）。對於數據丟失也沒有問題。
• "準確性：" BA可提供精確且易於解釋的結果，因爲它使用了精確的數據誤差模型並支持完善的質量控制方法
• 效率: 成熟的BA算法即使在非常大的問題上也比較有效。 他們使用經濟且快速收斂的數值方法，並最優化地使用問題稀疏性。

通常，隨着計算機視覺重建技術的成熟，我們期望束調整將以替代調整方法的方式比攝影測量法更佔優勢。我們認爲這是對優化的更多理解（尤其是對問題結構和稀疏性的更有效利用）以及諸如質量控制和網絡設計之類的系統問題的必然結果。

• 範圍： 我們將探討捆綁方法的很多方面。我們以相機投影模型和參數化捆綁問題（第二節），以及誤差測量或者成本函數的選擇（第三節）開始。第四節給出我們使用的優化理論的概要。第5節討論了捆綁問題的網絡結構（參數相互和稀疏特性）。接下來三節思考了調整計算的三種實現策略。第六節涵蓋了類似於牛頓的二階方法，它們仍然是最常用的調整算法。 第七節涵蓋僅具有一階收斂的方法（大多數ad hoc在此類中）； 第八節討論瞭解決方案更新策略和遞歸過濾捆綁方法。第九節返回到度量自由度（基準缺失）的理論問題，包括內部約束理論。第十節詳細介紹了用於監視參數估計值的準確性和可靠性的質量控制方法。第十一節簡要介紹了網絡設計，即如何放置鏡頭以確保準確，可靠的重建。第十二節通過總結主要結論併爲方法提供一些臨時建議，從而完善了本文的主體。也有一些附錄，附錄A簡述了捆綁方法發展的概要，並附帶了文獻。附錄B給出了矩陣分解、更新、協方差計算方法的一些技術細節。附錄C給了在設計捆綁軟件的一些建議和一些網上有用的資源。本文以詞彙表和參考文獻結尾。
• 一般參考文獻: 有時文化的不同使得視覺工作者閱讀攝影測量文獻變得很困難。Atkinson⁷編輯的資料集和Karara⁶的手冊都是近距離攝影測量法（而不是航空攝影法）的相對易懂的介紹。其他可獲得的教程論文包括^{2 4 5}。 Kraus⁸可能是使用最廣泛的攝影測量學教科書。Brown對捆綁方法的早期調查¹值得一讀。Slama ³經常引用的手冊現在已經過時了，儘管其捆綁調整的介紹仍然很重要。Wolf＆Ghiliani ⁹是致力於調整計算的文獻(text)，着重於測量。Hartley＆Zisserman ¹⁴是一本優秀的最新教科書，從計算機視覺的角度介紹了視覺幾何。對於非線性優化，Fletcher¹⁵和Gill等¹⁶是傳統文獻，而Nocedal＆Wright ¹⁷是很好的現代介紹。對於線性最小二乘，Björck¹⁸是最高級的，而Lawson＆Hanson是一個很好的舊版本。對於更通用的數值線性代數，Golub＆Van Loan¹⁹是標準。 Duff等人²⁰和George＆Liu²¹是稀疏矩陣技術的標準教材。我們將不詳細討論用於束調整的初始化方法，但是適當的重建方法在視覺社區中是豐富且衆所周知的。 參見例如¹⁴以供參考。

表示： 估計的結構，例如相機，使用單個大狀態向量$\mathbf{X}$參數化。通常，狀態屬於非線性流形，但我們將其局部線性化並使用表示爲$\mathbf{\delta x}$的較小線性狀態位移來work。觀測（例如，測量的圖像特徵點）用$\underline \mathbf{Z}$表示,與此對應的在參數$\mathbf{X}$處的預測值用$\mathbf{Z = Z(X)}$，殘差（residual prediction error）$\Delta \mathbf{Z(X)} \equiv \underline \mathbf{Z} - \mathbf{Z(X)}$。然而，觀測和預測的誤差經常僅僅通過它們的影響在成本函數(cost function)$\mathbf{f(x) = \mathbf{f}}(predz(\mathbf{X}))$上隱含出現。成本函數的梯度是$\mathbf{g} \equiv \mathbf{\frac{df}{dx}}$，它的海塞(Hessian)是$\mathbf{H} \equiv \mathbf{\frac{d^2 f}{dx^2}}$。觀測狀態的雅克比是$\mathbf{J} \equiv \mathbf{\frac{dz}{dx}}$。$\delta \mathbf{X}, \delta \mathbf{Z}$的維數是$n_\mathbf{X}, n_\mathbf{Z}$。

References

---

1. D. C. Brown. The bundle adjustment — progress and prospects. Int. Archives Photogrammetry, 21(3), 1976. Paper number 3–03 (33 pages). ↩︎ ↩︎

2. S. Granshaw. Bundle adjustment methods in engineering photogrammetry. Photogrammetric Record, 10(56):181–207, 1980. ↩︎ ↩︎

3. C. C. Slama, editor. Manual of Photogrammetry. American Society of Photogrammetry and Remote Sensing, Falls Church, Virginia, USA, 1980. ↩︎ ↩︎

4. M. A. R. Cooper and P. A. Cross. Statistical concepts and their application in photogrammetry and surveying. Photogrammetric Record, 12(71):637–663, 1988. ↩︎ ↩︎

5. M. A. R. Cooper and P. A. Cross. Statistical concepts and their application in photogrammetry and surveying (continued). Photogrammetric Record, 13(77):645–678, 1991 ↩︎ ↩︎

6. H. M. Karara. Non-Topographic Photogrammetry. Americal Society for Photogrammetry and Remote Sensing, 1989. ↩︎ ↩︎

7. K. B. Atkinson, editor. Close Range Photogrammetry and Machine Vision. Whittles Publishing, Roseleigh House, Latheronwheel, Caithness, Scotland, 1996. ↩︎ ↩︎

8. K. Kraus. Photogrammetry. Dümmler, Bonn, 1997. Vol.1: Fundamentals and Standard Processes. Vol.2: Advanced Methods and Applications. Available in German, English & several other languages. ↩︎ ↩︎

9. P. R. Wolf and C. D. Ghilani. Adjustment Computations: Statistics and Least Squares in Surveying and GIS. John Wiley & Sons, 1997. ↩︎ ↩︎

10. W. Förstner. Reliability analysis of parameter estimation in linear models with applications to mensuration problems in computer vision. Computer Vision, Graphics & Image Processing,40:273–310, 1987. ↩︎

11. A. Grün.Precision and reliability aspects in close range photogrammetry. Int. Arch. Photogrammetry, 11(23B):378–391, 1980. ↩︎

12. W. Förstner. Evaluation of block adjustment results. Int. Arch. Photogrammetry, 23-III, 1980. ↩︎

13. W. Förstner. The reliability of block triangulation. Photogrammetric Engineering & Remote Sensing, 51(8):1137–1149, 1985. ↩︎

14. R. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2000. ↩︎ ↩︎

15. R. Fletcher. Practical Methods of Optimization. John Wiley, 1987. ↩︎

16. P. Gill, W. Murray, and M. Wright. Practical Optimization. Academic Press, 1981. ↩︎

17. J. Nocedal and S. J. Wright. Numerical Optimization. Springer-Verlag, 1999. ↩︎

18. Åke Björck. Numerical Methods for Least Squares Problems. SIAM Press, Philadelphia, PA, 1996. ↩︎

19. G. Golub and C. F. Van Loan. Matrix Computations. Johns Hopkins University Press, 3 rd edition, 1996. ↩︎

20. I. Duff, A. M. Erisman, and J. K. Reid. Direct Methods for Sparse Matrices. Oxford University Press, 1986. ↩︎

21. J. A. George and J. W.-H. Liu. Computer Solution of Large Sparse Positive Definite Systems. Prentice-Hall, 1981. ↩︎