（每日一读2019.10.19）基于移动平台的激光雷达点云投影到相机图像上的不确定性估计

原论文：pdf

摘要

结合多传感设备以实现高级的感知能力是自动驾驶汽车导航的关键要求。传感器融合用于获取有关周围环境的丰富信息。摄像头和激光雷达传感器的融合可获取精确的范围信息，该信息可以投影到可视图像数据上。这样可以对场景有一个高层次的认识，可以用来启用基于上下文的算法，例如避免碰撞更好的导航。组合这些传感器时的主要挑战是将数据对齐到一个公共域中。由于照相机的内部校准中的误差，照相机与激光雷达之间的外部校准以及平台运动导致的误差，因此这可能很困难。在本文中，我们研究了为激光雷达传感器提供运动校正所需的算法。由于不可能完全消除由于激光雷达的测量值投影到同一里程计框架中而导致的误差，因此，在融合两个不同的传感器时，必须考虑该投影的不确定性。这项工作提出了一个新的框架，用于预测投影到移动平台图像帧（2D）中的激光雷达测量值（3D）的不确定性。所提出的方法将运动校正的不确定性与外部和内部校准中的误差所导致的不确定性相融合。通过合并投影误差的主要成分，可以更好地表示估计过程的不确定性。我们的运动校正算法和提出的扩展不确定性模型的实验结果通过在电动汽车上收集的真实数据进行了演示，该电动汽车配备了可覆盖180度视野的广角摄像头和16线扫描激光雷达。

主要贡献

（1）提出一种为激光雷达到摄像机投影问题生成准确一致的不确定性估计的方法。
（2）提出了运动校正错误的公式，包括平台在给定时间范围内的平移和旋转方差。
（3）在基于校准参数的不确定性来估计激光雷达对图像投影的不确定性的基础上，结合运动校正引入的不确定性以及其他典型的校准误差，以提供可靠的不确定性估计。

实验平台与实验介绍

图1.移动实验平台。（a）展示了车辆的前部，（b）展示了VLP-16激光雷达和前向三个GMSL摄像机的安装位置。标签R，C和L分别代表右，中和左摄像机

图2.（a）和（b）分别为激光点在图像像素座标系的u和v方向上中的移动

图3.激光雷达对静态平台的相机投影不确定性。（a）和（b）分别代表沿u和v轴的像素座标的不确定性，（c）为不确定度显颜色图

图4.在校园内正常行驶期间转弯速率的直方图

相机标定

在使用广角相机时，由于镜头中存在明显的畸变，外参标定是一个挑战。由于每次获取数据的独特性，同时执行内外参标定的工具可能会提供错误的结果。为了解释高维度的失真，标定板需要注意靠近相机去进行采样，以及覆盖整个视野。特别是，角部的失真最大，而内参标定需要这些区域的高质量样本来生成一组精确的参数。与本征校准过程相反，外部校准需要在棋盘离相机相当远的位置以及在各种不同的范围内采样，以便相机和激光雷达都能观察到棋盘。为此，我们首先利用Matlab摄像机标定器计算摄像机的内参数，选取五个畸变系数模型，得到摄像机矩阵K和畸变系数D，然后将这些内参数应用到摄像机的原始图像中，然后进行外标定。在本文中，我们使用autoware校准工具箱来校准激光雷达和每个相机的帧。将激光雷达点投影到广角相机图像中时，图像边缘的失真会在投影中引起噪声。由于图像边缘的极度失真，超出相机水平视野的点在投影中扭曲。因此，在将变换应用到像素座标帧之前，确保每个激光雷达点都在相机的视野内（在相机座标帧中）是很重要的。

运动矫正

当车辆移动时，使用[17]中描述的方法对激光雷达点进行校正。这一过程需要精确的基于里程计的变换和相机与激光雷达之间的适当时间同步。Velodyne ROS激光雷达驱动器为扫描的各个部分提供时间戳。驱动器发布的每一次全旋转激光雷达扫描都被分成75个包，每个包都包含自己的时间戳。出于计算的原因，假设在所发布的时间戳中观察到对应于全旋转扫描的大约5度的每个分组中的所有点。我们一次考虑一个包，并使用里程框架进行校正和对齐。这个假设很重要，因为它使算法能够实时运行。我们在此定义给定图像$P_{lc}$的校正激光雷达点：
$P_{lc}=T_{cam}^{veh}T_v^{\Delta_{cl}/\Delta_0}T_{veh}^{lid}P_l$
$P_l$是雷达的数据包中的3D激光点，$T_{lid}^{veh}$是雷达座标系到车体座标系的固有外参。$\Delta_0$是连续读取两次编码器数据的时间间隔。∆cl = velodyne数据包的时间戳-图像时间戳。$T_v$代表平台自身在两次编码器数据读取期间的绝对运动。$T_v^{\Delta_{cl}/\Delta_0}$代表相机时间戳-激光雷达时间戳的时间间隔用两次编码器测量的位移的间隔的速度进行代替（这里的表述有些绕口）。
上面等式中的T都是4X4的变换。

不确定度模型

本文的主要贡献是相机和激光雷达数据的一致性和可靠性融合。这结合了摄像机的内在校准、摄像机和激光雷达之间的外在校准以及激光雷达点的运动校正所产生的不确定性。将激光雷达座标系中的点$P_l=[x;y;z]$投影到图像像素座标系中的$P_c=[u；v]$。本文根据标定参数和运动校正参数估计了该变换的不确定度。摄像机的校准可以使用离线或在线技术进行。推导了一种基于雅可比的不确定性模型，用于融合各种不确定性估计。基于jacobian的不确定性模型的主要优点是，它可以与任何平台一起使用，而不依赖于用于执行相机校准和运动校正的特定技术。

实验结果与结论

图5.以30 km / h的速度行驶时，激光点投射到图像上。根据点在像素座标系中沿u和v轴所产生的方差，对点进行着色。左图是从左相机拍摄的，右图是中央相机的图像的一部分

图6.（a）中的运动校正前和（b）中的运动校正后的图像比较。以每个投影点为中心的红色椭圆表示真实点所在的区域，可能性为95％

图7. 直线运动（蓝色）和旋转运动（绿色）的投影激光雷达座标的误差平方估计（EES）值分布。红线代表95％X2(卡方分布)满足置信区间，图中样本个数为865。

结论和未来的工作

在本文中，我们提出了一种准确的将3D激光雷达点投影到2D摄像机图像帧的不确定性估计方法。该方法考虑了由平移和旋转运动校正引起的不确定性。所提出的框架使得能够合并运动校正中的误差，以及其他不确定性源，例如由外部和固有校准引入的那些不确定性。运动校正过程中的不确定性使用车辆两次里程测量值之间的线性位移和角度位移的方差来表示。然后，使用雅可比方法将考虑所有误差源的不确定性投影到图像像素帧中。一整套综合的实验结果证明了不确定度估计的准确性。实验是在配备有激光雷达，摄像头，GPS和IMU传感器并在大学校园环境中四处行驶的电动汽车上进行的。投影不确定性的一致估计对于组合激光雷达和相机数据的数据融合算法至关重要。