Parallel Tracking and Mapping for Small AR Workspaces
摘要：這篇論文提出了一種在位置環境下進行相機姿態估計的方法。雖然之前已經有人提出過SLAM算法進行機器人探索，但我們獨特地設計了一種在小型AR工作環境下跟蹤手持相機的系統。我們將跟蹤和構圖設定爲兩個獨立的目標。我們在一個雙核電腦上構建了兩個線程，一個線程用於解決不穩定手持運動的魯棒跟蹤的目標，同時另一個線程依靠先前的視頻幀構建點特徵的3D地圖。這使得計算量複雜的批優化技術不必一直實時操作：成果是一套生成細節地圖的系統，該地圖擁有數以千計可按幀率跟蹤的地圖標記。系統具有與最先進的基於模型的系統相媲美的準確性和穩健性。
目錄
1.簡介
1.大多數增強現實（AR）系統在事先了解用戶環境的情況下運行。不幸的是，通常沒有全面的地圖，通常只有一個感興趣的物體的小地圖可用。我們的目標是在沒有任何已知對象或初始化目標的情況下跟蹤先前未知場景中的校準手持攝像機，同時構建此環境的地圖。
2.在本文中，我們採用了不同的方法：我們將生成的地圖視爲可以創建虛擬模擬的沙箱。爲了進一步爲用戶提供與模擬交互的自由，我們需要快速，準確和強大的相機跟蹤，同時在完善地圖並在探索新區域時對其進行擴展。
3.下一節概述了所提出的方法，並將其與以前的方法進行了對比。後續部分詳細描述了使用的方法，顯示結果並評估方法的性能。
圖1:系統的典型操作:這裏跟蹤一個桌面。在線生成的地圖包含近3000個點的特徵，系統試圖在當前幀中找到1000個點。660次成功的觀測結果顯示爲dots。圖中還顯示了地圖的主平面，它被畫成網格，虛擬角色可以在網格上交互。這一幀是在18ms時拍攝的。
2.SLAM方法概述
Main：
1.跟蹤和構圖是獨立的，運行於兩個線程
2.構圖基於關鍵幀，運行時使用批次技術（BA）
3.地圖由一個雙目相機初始化（五點法）
4.新點由極線搜索法初始化
5.使用大量點被構圖使用
Others：
1.跟蹤手持攝像機比跟蹤移動的機器人更困難
2.並行的優點
(1)跟蹤就不再是概率性地受制於構圖過程，並且可以使用任何所需的魯棒跟蹤方法
(2)提高運算性能
(3)可以關鍵幀
(4)可以用計算量大但精度高的批處理方法（BA）代替增量構圖
3.相關工作
1.提升穩定性的兩篇文章介紹,後端粒子濾波,相似度圖像描述符。
2 .批處理兩篇文章介紹,1。BA的結果很好，但是地圖沒有拓展。該估計器具有魯棒性和精確性，但計算複雜度過高。
3.跟蹤三角化+H-DOF and NCC 準確但計算複雜
PS.
塊匹配算法(對圖像灰度值的操作)
SAD（Sum of Absolute Difference）
SSD（Sum of Squared Distance）
NCC（Normalized Correlation）
4.地圖
地圖由點特徵組成。地圖還包含N個關鍵幀：這些是手持攝像頭在不同時間點拍攝的快照。每個關鍵幀都有一個相關的以攝像機爲中心的座標系。每幀都有四級金字塔。每個點特性都有一個源關鍵幀。
5.跟蹤
跟蹤系統從手持攝像機接收圖像並保持相對於構建的地圖的攝像機姿勢的實時估計。使用此估計，然後可以在視頻幀的頂部繪製增強圖形。
1.從相機獲取新幀，並且從運動模型生成先前姿勢估計。
2.根據幀的先前姿勢估計將地圖點投影到圖像中。
3.在圖像中搜索少量（50）最粗尺度的特徵。
4.從這些粗略匹配更新相機姿勢。
5.在圖像中重新投影並搜索更大數量（1000）的點。
6.根據找到的所有匹配計算幀的最終姿勢估計。
5.1圖像獲取
幀轉換爲8bpp灰度用於跟蹤，RGB圖像用於增強顯示。估計幀的相機姿勢的先驗使用衰減速度模型;這類似於簡單的alpha-beta恆速模型。缺少任何新的測量時，估計的相機減速並最終停止。
5.2相機姿勢和投影
世界座標系到相機座標系到圖像位置，討論了利用李代數探究位姿變化的數學運算。
5.3塊搜索
如何轉換視角，並利用金字塔法進行搜索與跟蹤(按塊設閾值)，作者認爲計算複雜。
5.4位姿更新
根據成功的塊匹配更新位姿，考慮最小化重投影誤差進行更新。(啊，，看不懂這裏了)
5.5兩階段粗到精跟蹤
爲了提高跟蹤系統對攝像機快速加速的適應能力，塊搜索和姿態更新分兩次完成。
5.6跟蹤質量和故障恢復
設定閾值檢測質量，低於閾值不設定幀，連幀丟失啓動恢復過程。
6.構圖
首先，使用立體技術構建初始地圖。在此之後，隨着跟蹤系統添加新關鍵幀，地圖將由構圖線程不斷完善和擴展。
圖2：異步構圖線程。初始化後，該線程以無限循環運行，偶爾從跟蹤器接收新幀。
6.1地圖初始化
使用五點立體法進行地圖的初始化，需要平移相機進行初始化。協方差矩陣的最小特徵向量形成檢測到的平面法線。包括用戶交互，地圖初始化大約需要三秒鐘。
6.2關鍵幀插入和極線搜索
跟蹤質量必須良好;自添加最後一個關鍵幀以來的時間必須超過20幀;並且相機必須距離地圖中已存在的最近關鍵點最小距離，則可以添加關鍵幀。
用極線搜索建立兩個視圖之間的對應關係：將沿着第二視圖中的核線的角點周圍的像素塊與使用零均值SSD的候選映射點進行比較。
6.3光束法平差
如上所述的全束調整調整所有關鍵幀（除了第一個，即固定基準）和所有地圖點位置的姿勢。它利用了從運動結構問題中固有的稀疏性。
允許構圖線程執行本地BA;這裏只調整了關鍵幀位姿的子集。
在優化的參數選擇和用於約束的測量選擇方面存在重要差異。要優化的關鍵幀的集合X由五個關鍵幀組成。
6.4數據關聯細化
當束調整已經收斂並且不需要新的關鍵幀時，即當相機處於地圖的良好探索部分時，構圖線程具有可用於改善地圖的空閒時間。
通過束調整中使用的M估計器給出前端測量的權重。如果它們位於Tukey估計器的零權重區域，則它們被標記爲異常值，並二次測量。
6.5一般實施說明
發現實現兩個調整是有益的：行查找表用於加速訪問每個金字塔等級的FAST角陣列，並且跟蹤器僅重新計算完全非線性每四個M估計迭代點投影和jacobians（這仍然是每個幀的多次）。
啓發式構圖和初始幀初始化地圖較低技術。
跟蹤兩階段方法可能導致跟蹤抖動增加。
7.結果
7.1跟蹤實時視頻的表現
通過搖動相機有目的地破壞跟蹤，系統從中恢復。特徵分佈於精細級別到粗糙級別。關鍵幀準備包括幀捕獲，圖像灰度轉換，構建圖像金字塔和檢測FAST角。
7.2構圖的可拓展性
跟蹤系統可以隨着地圖大小的增加而很好地擴展，但構圖線程並非如此。與BA相比，極線搜索和數據關聯細化所需的處理時間很短。通常，插入關鍵幀所需的所有其他操作都需要不到40毫秒。
圖3：桌面視頻中生成的地圖和關鍵幀。 頂部：地圖的兩個視圖，其中繪製了點要素和關鍵幀。 場景的某些部分可以清楚地區分，例如， 鍵盤和飛盤。 底部：用於生成地圖的57個關鍵幀。
圖4：視頻附件中包含的桌面視頻的地圖大小（右軸）和跟蹤時間（左軸）。 當跟蹤丟失並嘗試重新定位時，會發生時序尖峯。
圖5：在合成序列上與EKF-SLAM的比較。 左圖顯示了此處描述的系統生成的地圖，中心圖顯示了EKF-SLAM [30]的最新實現所產生的地圖。 右邊顯示了與地面實況相比的軌跡。NB。 z軸的不同尺度，因爲地面真相位於z = 3。
7.3與EKF-SLAM的綜合比較
攝像機沿着一個牆向側面移動到角落，然後沿着下一個牆移動，總共600幀，分辨率爲600×480。它有效地證明了系統行爲的一些差異。圖5顯示了兩個系統的輸出圖。兩個軌跡，誤差主要在z方向。EKF-SLAM的標準偏差爲135mm，系統爲6mm。
7.4與EKF-SLAM的主觀比較
增量系統通常需要連續平滑的攝像機運動，以有效地初始化正確深度的新特徵。多個金字塔等級的使用極大地增加了系統對快速運動和相關運動模糊的容忍度。同時，使用大量功能可減少可見的跟蹤抖動，並在某些功能被遮擋或以其他方式損壞時提高性能。
系統以不同的方式縮放地圖大小，在EKF-SLAM中，幀速率將開始下降;在我們的系統中，幀率不會受到影響，但可以探索環境新部分的速度會減慢。
圖6：系統可以輕鬆跟蹤多個比例。 在這裏，地圖以右上標度初始化; 用戶靠近並放置一個標籤，從遠處觀看時仍然可以準確地註冊。
圖7：使用跟蹤作爲用戶界面的示例AR應用程序。左側：Darth Vader的激光槍由相機的光軸瞄準，以抵禦狂熱的ewok部落。 右圖：用戶使用虛擬的以攝像機爲中心的放大鏡和虛擬太陽的熱量將有品味的圖像刻錄到CD-R上。 這些應用程序在隨附的視頻中說明。
7.5帶手持相機的AR
8.侷限與未來工作
8.1失敗狀態
快速攝像機運動會產生大量的運動模糊，這會使圖像中的大多數角落特徵消失，這將導致跟蹤失敗。跟蹤只能在FAST角點檢測器觸發時進行，這限制了所支持的紋理和環境類型。未來的工作可能旨在包括其他類型的特徵 - 例如，圖像強度邊緣不受運動模糊的影響，並且通常方便地描繪地圖中的幾何實體。該系統對於重複的結構和發光變化有一定的魯棒性。
們遇到三種類型的構圖失敗：第一種是初始立體算法的失敗。第二種是在地圖中插入不正確的信息。最後是現實世界場景發生了實質性的永久性改變。
8.2構圖的不足
地圖僅包含點雲。雖然特徵點的統計數據是通過捆綁調整中的常見觀察來鏈接的，但系統目前很少從地圖中提取任何幾何理解。可能不必要地將特徵作爲異常值移除。無閉環。未來虛擬實體應該能夠以某種方式與地圖中的要素進行交互。
9.結論
本文介紹了以前用於跟蹤和映射未知環境的SLAM方法的替代方法。而不是受到強制映射方法的幀到幀可擴展性的限制，這些方法要求“高質量特徵的稀疏映射”，我們使用更密集的低質量特徵映射來實現替代方法。
該系統能夠爲小型工作空間的AR應用提供足夠的跟蹤質量，只要跟蹤的場景具有合理的紋理，相對靜態，並且基本上不會自我遮擋。