【视觉算法】广义霍夫变换在三维物体识别中的改进和应用学习

前两篇文章，学习了经典霍夫变换和广义霍夫变换，我们对霍夫变换的原理和整个过程有了较为清楚的认知。这篇文章主要学习广义霍夫变换在三维物体识别中的改进和应用。
首先思考一个问题，如果直接将广义霍夫变换应用在三维场景下的物体识别中会怎么样？
先确定未知参数的个数，由基本的三维物体识别和姿态估计知识，六个自由度，包括三个方向的角度和位移，即6个未知参数；直接应用(这里，以特征点的法线方向替代梯度方向[1])，显然霍夫参数空间是6维的，空间复杂度O(N⁶)；这六个参数中的三个角度，是需要遍历的，即有穷举过程，时间复杂度O(MN³)，其中M是特征点个数，N是量化间隔数目(即单维度的区间划分个数)。
代价极高！显然，直接应用是不可取的。
接下来我们看一种改进方法[2]。

描述上图，离线过程很好理解，即从模型中学习特征，并将特征存储(特征描述子的存储方式，参考PFH,FPFH,VFH，SHOT[3]等一些描述子的特征直方图)。
在线过程，计算场景的特征，和模型特征匹配，霍夫投票，根据投票结果计算旋转矩阵和平移向量。这里逐个解释：
1、特征，特征描述子内容较多，下一篇文章中详细解释SHOT[3]特征描述子，文章[2]提出的方法，仅适用于基于局部参考系(Local Reference Frame,LRF)的特征描述子(事实上，先进的特征提取方法是要构建局部参考系的)；为了方便理解这篇文章，这里简要描述一下局部参考系的构建过程[3]：对于特征点p，给定半径r，在以p为球心，半径为r的球体内，计算球内所有点的质心，根据这些点和质心构建协方差矩阵M，对M进行特征值分解，局部参考系的x，y，z三个轴就是由三个特征向量确定的，这里只是简要说明。
显然，局部参考系具有旋转和平移不变性，文章的改进就是充分利用了这一点。
ps:上面提到的PFH、FPFH、VFH没有构建局部参考系，PFH、FPFH是局部特征描述子，VFH是全局的，而SHOT是构建了局部参考系的局部特征描述子。
2、特征匹配，其目的是为了确定特征对应关系，两两匹配；常见的匹配方法，计算描述子之间的欧式距离(这里不要局限于一般意义的距离，两个角度之间也是可以计算欧式距离的)；距离小于给定阈值的就认为匹配成功，显然，这种匹配方法往往包含了一些错误点对，这是很难避免的，性能优异的描述子能够使匹配正确率提高。
3、霍夫投票，着重理解。
先看一些变换关系：

上图中虚线左边是在模型点云中的，F是特征点，在其周围构建了局部参考系；C是选取的参考点(文章中选取了模型质心)；R是由全局参考系到局部参考系的变换矩阵，它是由局部参考系的3个单位向量确定的。看下面几个公式：

向量V的计算与一般的霍夫变换是相同的。
将V由全局参考系变换到局部参考系。

变换矩阵R的构建。
对于场景中，上述过程是类似的。看一下图像空间到参数空间的投射关系：
对于一个点对，在局部参考系下：

投射：

等式左边的V确定，即可确定参考点；每个对应关系，在霍夫参数空间中投一票。如果你仔细学习了霍夫变换，这是很好理解的。根据匹配好的对应关系，每个场景中的特征点只进行一次投票，这与广义霍夫变换中一个特征点进行多次投票是不同的，省去了很多计算，同时也对对应关系的正确性产生了依赖。
得益于局部参考系的旋转和平移不变性，投票过程仅需要上面的步骤，即仅根据V向量的三个分量构造霍夫参数空间，其维度仅为3，空间复杂度O(N³)；没有穷举过程，时间复杂度O(M)，其中M是特征点个数，N是量化间隔数目；效率极大提高。
干扰因素的存在可能使投票散落在峰值网格周边的网格之中，因此，文章将峰值网格的6个临近网格的票数加在当前网格。
应用广义霍夫变换，显然，多个峰值往往对应着多个目标，单/多目标都可通过一次投票识别完成。
求解旋转矩阵时，选取对应关系的子集，这些子集是与票数最高的那个网格对应的，这样能提高准确率和效率。平移向量求解是非常简单的，如：质心相减。
算法部分就学习到这里，接下来看文中的对比实验：

观察P-R曲线，显然文中方法优于另外两种方法。这里要提一下GC(geometric consistency，几何一致性分组)，GC和本文的霍夫变换是可以应用于实际的两种效果比较好的物体识别方法(见PCL官方教程代码)。
至此，广义霍夫变换在三维物体识别中的改进和应用就学习完了；下一篇文章学习SHOT描述子。
参考文献：
(1) K. Khoshelham, “Extending generalized hough transform to detect 3d objects in laser range data,” in Proc. ISPRS Workshop on Laser Scanning, 2007, pp. 206–210.
(2) Tombari F , Stefano L D . Object recognition in 3D scenes with occlusions and clutter by Hough voting[C]// 2010 Fourth Pacific-Rim Symposium on Image and Video Technology. IEEE, 2010.
(3) Salti S , Tombari F , Stefano L D . SHOT: Unique signatures of histograms for surface and texture description[J]. Computer vision and image understanding, 2014, 125(AUG.):251-264.