点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
1.前言
本推送介绍另一种特征跟踪方法，来自论文：”EKLT: Asynchronous Photometric Feature Tracking Using Events andFrames”。从基本思路上来说，也是对模板进行跟踪，但与事件相机特征跟踪-概率数据关联法不同在于，在跟踪时采用的是优化思想，优化运动参数，从而实现跟踪。
2.基本思想
上方为算法流程图，我们先看下半部分。传统相机图像分别提取x和y方向梯度图，然后根据特征跟踪的参数进行Warp到指定位置，然后根据假设运动速度获得预测的梯度图。上方为一段儿时间内事件积累而形成的灰度图。二者进行做差，优化得到真实速度v与最佳的跟踪参数p，实现一步跟踪。
3.一些细节
3.1 特征追踪的参数
特征追踪采用“从初始位置进行怎样的变化，才能到当前位置”实现追踪，包括了旋转与平移。示意图如下，表示从初始位置怎么运动到当前位置。实际优化过程中，是当前运动参数作为初始值，进行优化获得运动参数的增量，进行迭代更新，完成跟踪。
3.2 事件积累图
事件积累图是从在当前特征位置，积累在区域内一段儿时间内的事件数据，得到的亮度变化图。积累时需要考虑极性，从而产生了亮度变化。换一句话说，事件积累图代表了实际测量得到的特征亮度变化图。
（左：事件积累图；右：传统图形梯度图）
3.3 传统图像的梯度图
传统图像的梯度图即为分别沿x和y方向进行像素做差，得到梯度图。之后根据假设运动参数v，得到“在当前假设运动参数，与梯度的情况下，预测的亮度变化图”。可以理解为预测结果。
3.4 误差项与迭代
当获得预测的亮度变化图，以及积累观测到的测量变化图后，进行做差，优化残差得到最佳的变量状态的增量，这里的变量状态包括了特征跟踪所需要的旋转与平移，以及假设的速度。误差采用归一化的形式，对预测和观测的分别就进行归一化。具体的表达式为：
即选取最佳的参数p和v，使亮度变化图的误差最小。从而获得最佳参数p的增量后，迭代更新运动参数。
4.实验结果
实验结果表明，精度是真的高，误差只有1-2 pixels。由于作者的设计思路就是，如果只保留边缘会丢掉很多的梯度信息，那么用梯度其实获取的信息更多，从而取得了更高的精度。
作者制作了示意视频，可以感受一下：
原始链接：https://www.youtube.com/watch?v=ZyD1YPW1h4U&feature=youtu.be
同时作者开源了代码，这真的很少见：https://github.com/uzh-rpg/rpg_eklt
4、总结
这篇文章较新，取得的结果也不错，从视频上看已经能做到实时。相信是一个不错的研究思路，推测后续的论文也会将本文的结果作为参考。同时对于作者能够开源深表赞赏。
本文仅做学术分享，如有侵权，请联系删文。
推荐阅读：
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+暱称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
![]( "3D视觉工坊小助理微信.jpg.jpg")
▲长按加微信群或投稿
![]()
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近1000+星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
![]()
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
