參考書：高博十四講、多視圖幾何、自主移動機器人導論（中文版）
正值畢設開題之際，對半年來一步步入坑視覺SLAM進行一個簡要的小結.
>> 經典vSLAM模型
參考：slambook p24（slam問題形成）
1. 運動方程
2. 觀測方程
>> 整個視覺slam分爲前端、後端和閉環檢測
參考：orb-slam前端後端那張圖
1. 前端：建圖，視覺里程計（特徵提取和匹配）
2. 後端：優化
$\quad$2.1 爲什麼流行優化算法？（參考slambook p24，EKF、PF、非線性優化比較）
3. 閉環檢測：詞袋
>> 李羣李代數
1. 爲什麼要引入李代數（參考slambook p74）
2. 歐拉角（gimbal lock）、四元數、旋轉矩陣（自我約束，很難用於優化）都屬於過參數化，旋轉向量有三個自由度
>> SLAM狀態估計—貝葉斯濾波器
1. 最大後驗概率->轉換爲->最大似然（參考slambook:107）
2. 如何轉換爲最小二乘
$\quad$2.1 最小二乘分爲：線性最小二乘和非線性最小二乘（這部分參考CSDN博客）
$\quad$2.2 求解線性最小二乘（SVD、QR）
$\quad$2.3 求解非線性最小二乘的方法（梯度下降法、高斯牛頓法、LM…）
3. 引出協方差，協方差的作用
$\quad$3.1 協方差的直觀理解(參考slambook p109)，多個誤差（加權的）平方和
$\quad$3.2 信息矩陣的引出，協方差的逆（解釋爲什麼是協方差的逆，參考slambook:p108高維高斯分佈的概率密度函數）
>> 特徵點
1. orb特徵點的優勢，旋轉不變性（如何實現的，灰度質心法）、尺度不變性（圖像金字塔，參考印象筆記）
$\quad$1.1 環境（自然）特徵點
$\quad$1.2 人工landmarker，棋盤格（checkerboard）、aruco
2. 特徵匹配
$\quad$2.1 漢明距離
$\quad$2.2 匹配方法：暴力匹配、FLANN匹配
參考稀疏點生成柵格地圖那篇論文的實現
$\quad$2.3 orb-slam源碼中那個靜態表格
參考：[http://www.cnblogs.com/ronny/p/4083537.html]
>> 純視覺SLAM涉及到的多視圖幾何
1. 對極幾何：原理、構造、求解、分解得到R、t
2. 單應矩陣（Homography）
$\quad$2.1 推導（使用地面模型—參見筆記）
$\quad$2.2 求解、分解
3. 三角化：使用該方法構建稀疏地圖（生成MapPoints）
4. PnP
$\quad$4.1直接線性變換（DLT）
將相機的位姿當作普通矩陣進行求解，含有12個未知數，解得的R不一定是，所以需要一步近似
$\quad$4.2 至少3對3D-2D的匹配點（該方法可用於單目絕對尺度的恢復）
$\quad$4.3 bundle adjustment
5. ICP
>> 圖優化
參照論文《A Tutorial on Graph-Based SLAM》
1. 基於圖優化的SLAM有兩個任務
$\quad$1.1 前端: 從測量值中構造圖結構
$\quad$1.2 後端: 圖優化
2. 非線性優化庫：g2o、ceres
$\quad$2.1 g2o優化時如果不指定解析求導的雅可比，將使用數值求導（慢、精度差）
$\quad$2.2 可將ceres自動求導嵌入到g2o中，效果優於直接使用數值求導
>> 純視覺SLAM的弊端
1. 單目尺度
$\quad$1.1 尺度漂移
$\quad$1.2 尺度不確定性（每次初始化尺度有可能都不一樣）
2. 跟蹤易丟失
原因：相機發生純旋轉、相機運動過快、物體遮擋、捲簾門扭曲、無特徵點的白牆等
>> 絕對尺度恢復方法
1. 各種絕對尺度恢復方法
$\quad$1.1 使用其它先驗信息，比如，走廊的寬度、汽車的大小、人的身高、人工landmarker大小等
$\quad$1.2 使用深度學習的方法進行深度估計
$\quad$1.3 融合其它能提供尺度信息的傳感器，如，IMU、輪式里程計、Lidar等
2. 閱讀過很多論文，在這裏踩坑不少
3. VIO和融合里程計（地面機器人帶有里程計，穩定性高於IMU）優勢
>> 基於預積分
>> 里程計模型
1. 航跡推演
2. 里程計誤差模型
$\quad$1.1 確定性參數
$\quad$1.2 非確定性參數
$\quad$1.3 運動方向的垂直方向誤差累積更快
3. 標定確定性參數
4. 標定非確定性參數（雷達與里程計）
>> 相機內參標定
參考：[https://www.cnblogs.com/star91/p/6012425.html]
1. 相機內參標定
$\quad$1.1 轉換爲BA優化問題
$\quad$1.2 各種標定工具比較
opencv、ROS（在線採集）、matlab（精度高）、CamOdoCal
$\quad$1.3 有畸變，無畸變相機，相機選型—參考CSDN博客
2. 幾種相機內參模型—參考《CamOdoCal: Automatic Intrinsic and Extrinsic Calibration…》
- Pinhole camera model
- Unified projection model (
MEI is used in the fisheye camera (large FOV camera), which PINHOLE can not model.) - Equidistant fish-eye model
>> 里程計與相機的外參標定
0. 爲什麼要進行外參標定，參考論文《Extrinsic and intrinsic sensor calibration》