關鍵詞：視覺慣性；半直接 SLAM；多傳感器融合
一、摘要：
問題： 如何權衡準確率和計算效率
方法： 半直接法。基於特徵法的 MVG 進行初始化、後端優化和迴環檢測；滑動窗口優化
結果： 實現準確度和速度的均衡
二、結論
文章缺陷： 無
課題構思（如何一步步得到結論）：
- 直接法追蹤非關鍵幀並加速算法
- 特徵法迴環檢測，解決長期運行問題
未解問題： 擴展算法以支持多傳感器融合
三、粗看圖表
數據來源： EuRoC 數據集
重要指標： RMSE、平均時間、關鍵幀數量及計算耗時、平移絕對位姿誤差
四、引言
研究原因： 現有傳感器單獨使用時缺點明顯：立體相機只能在有限深度範圍估計準確；雷達存在戶外玻璃表面反射的問題；IMU 有偏移和噪聲；單目相機具有尺度不變性。特徵法和直接法有明顯缺點（前面文章已總結）。
課題階段（染色爲當前階段）：
主要貢獻： 多傳感器融合的視覺慣性導航系統（VINS）、SD-VIS
理論假設： 主要研究基於多傳感器融合的單目視覺慣性導航系統（VINS）
五、實驗過程
模型步驟，每個步驟的結論：
- 系統框架總覽：
-
IMU 測量和視覺慣性對齊
-
符號說明
-
IMU 預積分
-
視覺慣性對齊
IMU 測量值與可視圖像對齊完成初始化。VINS-Mono 方法重參數化重力矢量
-
-
視覺測量：
-
三種關鍵幀選取策略（滿足其一即可）：
① 跟蹤特徵點，滑動窗口中最後一幀中的跟蹤點數小於最小跟蹤點閾值的70％；
② IMU 預積分計算出的滑動窗口最後兩相鄰幀間的平移距離超過閾值；
③ 最後一幀和倒數第二幀特徵點的平均視差超過閾值。
-
關鍵幀的追蹤
關鍵幀使用快速特徵檢測器在滑動窗口最後一幀添加新特徵點，KTL 稀疏光流算法追蹤。RANSAC 和基本矩陣模型消除異常值。
-
非關鍵幀的追蹤
直接圖像對齊估計相對位姿，最小化圖像塊之間的光度誤差優化位姿
-
-
基於滑動窗口的緊耦合優化框架
結合 IMU 殘差，視覺重新投影誤差，先驗信息和重新定位信息，再次優化姿態和3D點位置。
-
邊緣化策略
若當前幀爲關鍵幀，則該幀將保留在滑動窗口中，最舊的幀被邊緣化，丟棄特徵點，刪除視覺和慣性測量值；
若當前幀不是關鍵幀，則滑動窗口中的最後一個幀將被邊緣化，與該幀相關的所有視覺度量移除。
-
重定位（消除累積誤差）
DBoW2 閉環檢測，有環路時對齊滑動窗口
-
-
實驗：
評估 EuRoC 數據集上 SD-VIS 的準確性、魯棒性和實時性能，將SD-VIS方法與最新的視覺SLAM方法進行比較。
- 對 SD-VIS 的準確性和魯棒性進行評估。實驗結果表明，該方法的準確性和魯棒性達到了與最新技術相同的水平
- 評估實時性能，該方法在精度和實時性能之間達到了良好的平衡
- 評估了閉環檢測能力並驗證了SLAM系統的總體可行性
六、文章總結：
問題： 如何權衡準確率和計算效率。現有傳感器單獨使用時缺點明顯，特徵法與直接法各有顯著缺點
方法： 直接法追蹤非關鍵幀並加速算法+特徵法迴環檢測，解決長期運行問題。基於特徵法的 MVG 進行初始化、後端優化和迴環檢測；滑動窗口優化。
論證過程：
- 提出目前純特徵法和直接法的缺點以及傳感器單獨使用的缺點；
- 利用特徵法+直接法（半直接法）提出 SLAM 新的解決方案並形成系統；
- 介紹系統中關鍵部分的方法；
- 最後通過數據集驗證方法的有效性。
七、引言部分文獻的深入研究
-
Visual simultaneous localization and mapping: a survey
視覺 SLAM 指使用圖像作爲外部信息的唯一來源，以便在環境中同時確定機器人、車輛或運動相機位姿的問題。將視覺作爲唯一的外部傳感器，用於動態、複雜和大規模環境的 SLAM 是研究的活躍領域。視覺SLAM 中採用的計算機視覺技術（例如，顯着特徵檢測、描述和匹配，圖像識別和檢索等）仍易於改進。本文的目的是爲視覺 SLAM 領域的新研究人員提供有關最新技術的簡短而易懂的評論。
-
Simultaneous localization and mapping (SLAM): part II
討論了 SLAM 問題的遞歸貝葉斯公式，其中獲得了地標和車輛姿態的絕對或相對位置的概率分佈或估計。本文着重於三個關鍵領域：計算複雜性、數據關聯和環境表示
-
Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras
文章提出了立體直接稀疏里程錶（Stereo DSO），用於從立體相機中對大規模環境進行高精度的實時視覺里程錶估計，對活動窗口內所有模型參數優化。將靜態立體的約束整合到時間多視立體的束調整管道中。通過從具有足夠強度梯度的圖像區域均勻採樣像素來實現實時優化。固定基準立體聲解決了音階漂移問題，降低了對大光通量和滾動快門效應的敏感性。跟蹤準確性和魯棒性方面，擬議的立體聲 DSO 優於現有的最新視覺測距方法，度量3D重建更精確，同時提供了比基於特徵方法重建密度更高的方法。
-
Detecting glass in Simultaneous Localisation and Mapping
具有激光掃描測距儀的最新室內 SLAM 爲移動機器人平臺（例如 PR2 機器人）提供準確的實時定位和地圖服務。由於戶外玻璃面板的透明性，激光測距儀無法產生準確讀數，導致 SLAM 無法正常工作。本文提出了簡單有效的解決方案，基於玻璃發出的激光束的鏡面反射來識別玻璃面板：檢測在垂直於玻璃面板入射角附近的反射光強度分佈。將這種方法與 SLAM 算法集成，實時檢測和定位玻璃障礙物。測試表明該方法可以檢測出約 95％ 的所有玻璃板，而不會出現假陽性。
-
Strapdown Inertial Navigation Technology
-
MonoSLAM: Real-Time Single Camera SLAM
提出一種實時算法，可恢復單目相機的 3D 軌跡，並在先前未知的場景中快速移動。該 SLAM 方法論稱爲 MonoSLAM，是從移動機器人技術到單個不受控制的攝像機“純視覺”領域的首次成功應用，實現實時但無漂移的性能，這是運動方法無法實現的。方法的核心是在概率框架內在線創建稀疏但持久的自然地標地圖。文章的貢獻包括：主動進行映射和測量的方法，使用通用運動模型進行平滑的相機運動以及單眼特徵初始化和特徵方向估計的解決方案。本文還介紹了 MonoSLAM 在高性能全尺寸人形機器人和手持攝像機實時增強現實的實時 3D 定位和地圖繪製中的應用。
-
A Monocular Vision Sensor-Based Efficient SLAM Method for Indoor Service Robots
本文提出一種使用前視單目視覺傳感器進行高效同時定位和製圖的新方法。可實時應用於室內服務機器人的低成本嵌入式系統。本文中使用消失點的方向直接估計機器人方向，將機器人位置和線界標的估計模型導出爲簡單線性方程，通過局部地圖校正方法有效地校正相機的姿勢和地標位置。
-
Tightly-coupled monocular visual-inertial fusion for autonomous flight of rotorcraft MAVs
本文爲自主旋翼飛機 MAV 提出一種基於緊密耦合非線性優化的單目 VINS 估計器。
-
Keyframe-based visual–inertial odometry using nonlinear optimization
非線性優化準確性高，由於底層問題的稀疏性，其複雜性易於處理。本文制定嚴格的概率成本函數，結合了標和慣性項的重投影誤差。通過將優化限制在關鍵幀的有限窗口中（通過邊緣化），使問題易解，確保實時操作。
-
ORB-SLAM: A Versatile and Accurate Monocular SLAM System
本文介紹 ORB-SLAM，這是一種基於特徵的單目 SLAM 系統，可在大小型室內外環境中實時運行。該系統對運動混亂具有魯棒性，可實現寬基線閉合和重新定位，包括全自動初始化。基於近年來的出色算法設計了一個新穎的系統。選擇合適的重建點和關鍵幀的優勝劣汰策略具有魯棒性，並生成緊湊可跟蹤的地圖，僅當場景內容發生變化時，地圖纔會增長，實現終身運營。
-
Direct Sparse Odometry
直接稀疏里程錶（DSO）是基於新穎、高度精確的稀疏、直接結構和運動公式的視覺里程錶方法，將最小化光度學誤差與所有模型參數的一致、聯合優化相結合，包括幾何圖形。省略先驗平滑度，在整個圖像中均勻採樣像素實時實現。因不依賴於關鍵點檢測器或描述符，可從具有強度梯度的所有圖像區域中採樣像素。模型集成了完整的光度校準，考慮了曝光時間，鏡頭漸暈和非線性響應功能。
-
Direct Visual-Inertial Odometry with Stereo Cameras
文章提出了一種立體照相機直接視覺慣性測距方法。通過最小化光度和慣性能量功能的組合，同時估算攝像機的姿態、速度和 IMU 偏差，利用視覺和慣性數據的互補性。與現有視覺慣性方法相比，該方法完全直接：以半密集深度圖（而不是手動設計的稀疏關鍵點）估算幾何形狀。深度信息既可通過靜態立體（與立體攝像機的固定基線圖像相關）獲得，也可以從時間立體（與同一相機在不同時間拍攝的圖像相關）獲得。該方法提供了環境的高保真度半密集、度量重建，並在CPU上實時運行。
-
A Review of Visual-Inertial SLAM from Filtering-Based and Optimization-Based Perspectives
視覺慣性同時定位和製圖（VI-SLAM）由於魯棒性高，在定位和地圖繪製領域應用廣泛，包括在移動機器人、自動駕駛汽車、無人駕駛飛行器和自動駕駛水下航行器。文章提供有關 VI-SLAM 的全面調查，從基於過濾和優化的角度回顧了 VI-SLAM 技術。總結了基於後端方法，相機類型和傳感器融合類型的最近十年的最新研究；介紹了關鍵的 VI-SLAM 技術，例如特徵提取和跟蹤，核心理論和閉環；對代表性的 VI-SLAM 方法和著名的 VI-SLAM 數據集的性能進行了調查。對 VI-SLAM 方法的比較研究有助於瞭解其工作原理的差異。基於優化的方法定位精度高、內存利用率較低，而基於過濾的方法消耗計算資源少。本研究還提出 VI-SLAM 的未來發展趨勢和研究方向。
-
DTAM: Dense Tracking and Mapping in Real-Time
DTAM 是用於實時攝像機跟蹤和重建的系統，不依賴於特徵提取，依賴於每個像素的密集方法。RGB 相機在靜態場景中，估計選定關鍵幀處的詳細紋理深度圖，產生具有百萬頂點的表面拼湊而成。使用視頻流中可用圖像提高簡單光度數據項質量，並在非凸優化框架中最小化全局空間正則化能量函數。通過針對整個密集模型對整個圖像進行幀速率對齊來精確跟蹤相機的 6DOF 運動。算法高度並行化，使用 GPU 硬件可實現實時性能。與使用特徵的最新方法相比，密集模型在快速運動下跟蹤性能出色；並且還展示了密集模型在增強現實應用程序中用於實時場景交互的其他有用性。
-
An iterative image registration technique with an application to stereo vision
提出一個圖像配準技術，利用空間強度梯度信息尋找匹配位置，適用於兩圖像已經近似匹配的場景。
-
Parallel Tracking and Mapping for Small AR Workspaces
本文提出了一種估計未知場景中相機姿態的方法，專門用於在小型 AR 工作區中跟蹤手持攝像機的系統。將跟蹤和建圖劃分爲兩個單獨的任務以並行線程處理：一個線程處理跟蹤不穩定的手持運動的任務，另一個線程根據之前的任務生成點特徵的 3D 地圖觀察到的視頻幀。使用通常不與實時操作關聯的、計算量大的批處理優化技術：生成具有數千個地標的詳細地圖，可以以幀速率進行跟蹤，準確性和魯棒性高。
-
ORB-SLAM2: An Open-Source SLAM System for Monocular, Stereo, and RGB-D Cameras
介紹 ORB-SLAM2，這是一個用於單目立體聲和 RGB-D 相機的完整 SLAM 系統，包括地圖重用，閉環和重定位功能。該系統可在各種環境中的標準中央處理器上實時工作。後端基於單目和立體觀測的光束調整，可使用公制尺度進行精確軌跡估計。系統包括輕量級的本地化模式，該模式利用視覺測距法跟蹤未建圖區域，並與允許零漂移本地化的地圖點匹配。
-
VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator
本文介紹 VINS-Mono：一種健壯且通用的單目視覺慣性狀態估計器。一種緊密耦合的、基於非線性優化的方法通過融合預積分的 IMU 測量值和特徵觀測值來獲得高精度的視覺慣性里程錶。迴路檢測模塊與我們緊密耦合的公式相結合，可用最少的計算量實現重定位。執行 4-DOF 姿態圖優化增強全局一致性。系統可以保存和加載地圖來重用地圖。當前和先前的地圖可通過全局姿勢圖優化合並。
-
PL-VIO：Tightly coupled monocular visual inertial odometry using point and line features
爲解決估計照相機軌跡的問題並基於慣性測量和視覺觀察構建結構三維地圖，本文提出了點線視覺慣性里程錶（PL-VIO），即緊密耦合的單目視覺–利用點和線特徵的慣性里程計系統。與點要素相比，線提供了更多幾何結構信息。爲緊密有效地融合慣性測量單元（IMU）和視覺傳感器的信息，通過最小化成本函數優化狀態，函數將預積分的 IMU 誤差項與點和線的重新投影誤差項組合窗口優化框架。
-
A General Optimization-based Framework for Local Odometry Estimation with Multiple Sensors
本文提出了一種基於通用優化的里程計估算框架，支持多個傳感器集。框架中每個傳感器被視爲一個普遍因素，共享共有狀態變量的因素被加在一起以構建優化問題。
-
LSD-SLAM: Large-scale direct monocular SLAM
本文提出一種直接單目 SLAM 算法，算法允許構建大規模、一致的環境圖。除了基於直接圖像對齊的高精度姿勢估計外，還可以實時重建 3D 環境作爲具有相關的半密集深度圖的關鍵幀的姿勢圖。兩個關鍵的新穎性：（1）一種在 sim(3) 上運行的新穎直接跟蹤方法，顯式檢測比例漂移；（2）一個概率解決方案，將嘈雜深度值的影響納入跟蹤。可在 CPU 上實時運行。
-
LDSO: Direct Sparse Odometry with Loop Closure
本文提出了將直接稀疏測距法（DSO）擴展到具有閉環檢測和位圖優化（LDSO）的單目視覺 SLAM 系統。DSO 利用具有足夠強度梯度的任何圖像像素，在無特徵的區域中保證魯棒性。LDSO 保留魯棒性，同時通過支持跟蹤前端拐角特徵確保點的可重複性，使用 BoW 方法檢測候選閉環。通過幾何驗證閉合候選者，通過共同最小化 2D 和 3D 幾何誤差項估算 Sim(3) 相對姿態約束，並與從 DSO 的滑動窗口優化中提取的相對姿勢的可見性圖融合。
-
SVO: Fast Semi-Direct Monocular Visual Odometry
本文提出了一種半直接單目視覺測距算法，精確、可靠、速度快。半直接方法消除了用於運動估計的特徵提取和魯棒匹配技術。直接對像素強度進行操作，從而在高幀速率下產生亞像素精度。使用顯式建模離羣值測量的概率映射方法來估計 3D 點，減少離羣點。精確和高幀速率的運動估計可在重複和高頻紋理的場景中提高魯棒性。算法適用於 GPS 受限的環境中的微型航空器狀態估計。
-
Loosely-coupled semi-direct monocular slam
本文提出了一種半直接法，用於單目 SLAM，方法結合了直接方法和基於特徵的方法的互補優勢。擬議中的管道將直接測距法和基於特徵的 SLAM 鬆散耦合以執行三個級別的並行優化：1）聯合優化局部結構和運動的光度束調整（BA），2）精煉關鍵幀姿勢和相關特徵圖點的幾何BA，3）在存在迴環閉合的情況下進行姿態圖優化以實現全局地圖一致性。
-
Feature based visual odometry prior for real-time semi-dense stereo slam
本文提出了一種使用立體相機的視覺測距和 SLAM 的兩層方法，可以實時運行，並將基於特徵的匹配與半密集直接圖像對準相結合。根據通過快速但可靠的基於關鍵點的方法跟蹤的運動來初始化半密集深度估計，消耗計算資源。方法可處理較大的幀間運動和光照變化。
-
Autonomous flight with robust visual odometry under dynamic lighting conditions
本文提出的立體聲 VO 在光變環境方面實現了魯棒性。在優化過程中加入了基於特徵的立體視覺測距法的運動，獲得更高的準確性和穩定的運動估計。對於基於特徵的方法和直接 VO 方法的收斂速度和線性指數的分析支持了運動先驗知識的使用有效性。
-
Semi-direct monocular visual and visual-inertial SLAM with loop closure detection
本文提出了一種半直接單目視覺 SLAM 系統，保持直接方法的快速性能以及基於特徵的方法的高精度和閉環能力。該系統提取並匹配關鍵幀中的 Oriented FAST 和 Rotated Brief 特徵，通過直接法跟蹤非關鍵幀，無需提取和匹配特徵。關鍵幀用於全局或局部優化和迴環閉合，非關鍵幀用於快速跟蹤和本地化。還提出了將慣性測量數據與視覺 SLAM 融合的單目視覺慣性 SLAM 系統，成功恢復了度量標準規模。