从视觉图像直接恢复出相机位姿和场景结构的方法主要可以分为两类：
第一类是基于特征的方法。这种方法的标准流程就是：对每一帧图像进行特征提取，并构建描述子，然后通过计算帧与帧之间描述子的距离匹配特征点，再通过对极几何的进行相机的位姿初步计算以及最小化重投影误差进行位姿和特征点三维座标优化。
第二类是基于直接法。即不需要进行特征提取，用局部像素的梯度和方向值进行计算，优化出相机的位姿和三维点。
基于特征的方法主要的是ORBSLAM， 对每一帧图像进行FAST特征提取，而后通过比较特征点之间brief描述子的距离进行特征点匹配。匹配后的特征点通过2D-2D的方式计算出两帧图像之间的转换矩阵，而后再通过最小化重投影误差进行优化。这就是Tracking部分的主要工作，当然，在LOcalMapping 和 loopclosing线程还有对特征点的三维点进行优化，当然也是通过最小化重投影误差。
直接法：
1. 思路：
已知三维点P在相机1中对应的像素点为p1，则可以根据当前相机位姿的估计值，寻找到P在相机2中对应的像素值p2；
2. 优化变量：
优化光度误差，也就是P在两张图片中对应的两个像素点p1，p2之间的亮度误差；
3. 分类：根据在图像中选用的P的来源，可以将直接法分为以下三类
1. 稀疏直接法： P来自于稀疏关键点，只比较关键点周围区域的像素值，不使用描述子；
2. 半稠密：只使用有梯度值的像素点
3. 稠密直接法：使用所有的像素点，但是需要使用GPU加速；