點擊上方“3D視覺工坊”，選擇“星標”
乾貨第一時間送達
1.前言
本推送介紹另一種特徵跟蹤方法，來自論文：”EKLT: Asynchronous Photometric Feature Tracking Using Events andFrames”。從基本思路上來說，也是對模板進行跟蹤，但與事件相機特徵跟蹤-概率數據關聯法不同在於，在跟蹤時採用的是優化思想，優化運動參數，從而實現跟蹤。
2.基本思想
上方爲算法流程圖，我們先看下半部分。傳統相機圖像分別提取x和y方向梯度圖，然後根據特徵跟蹤的參數進行Warp到指定位置，然後根據假設運動速度獲得預測的梯度圖。上方爲一段兒時間內事件積累而形成的灰度圖。二者進行做差，優化得到真實速度v與最佳的跟蹤參數p，實現一步跟蹤。
3.一些細節
3.1 特徵追蹤的參數
特徵追蹤採用“從初始位置進行怎樣的變化，才能到當前位置”實現追蹤，包括了旋轉與平移。示意圖如下，表示從初始位置怎麼運動到當前位置。實際優化過程中，是當前運動參數作爲初始值，進行優化獲得運動參數的增量，進行迭代更新，完成跟蹤。
3.2 事件積累圖
事件積累圖是從在當前特徵位置，積累在區域內一段兒時間內的事件數據，得到的亮度變化圖。積累時需要考慮極性，從而產生了亮度變化。換一句話說，事件積累圖代表了實際測量得到的特徵亮度變化圖。
（左：事件積累圖；右：傳統圖形梯度圖）
3.3 傳統圖像的梯度圖
傳統圖像的梯度圖即爲分別沿x和y方向進行像素做差，得到梯度圖。之後根據假設運動參數v，得到“在當前假設運動參數，與梯度的情況下，預測的亮度變化圖”。可以理解爲預測結果。
3.4 誤差項與迭代
當獲得預測的亮度變化圖，以及積累觀測到的測量變化圖後，進行做差，優化殘差得到最佳的變量狀態的增量，這裏的變量狀態包括了特徵跟蹤所需要的旋轉與平移，以及假設的速度。誤差採用歸一化的形式，對預測和觀測的分別就進行歸一化。具體的表達式爲：
即選取最佳的參數p和v，使亮度變化圖的誤差最小。從而獲得最佳參數p的增量後，迭代更新運動參數。
4.實驗結果
實驗結果表明，精度是真的高，誤差只有1-2 pixels。由於作者的設計思路就是，如果只保留邊緣會丟掉很多的梯度信息，那麼用梯度其實獲取的信息更多，從而取得了更高的精度。
作者製作了示意視頻，可以感受一下：
原始鏈接：https://www.youtube.com/watch?v=ZyD1YPW1h4U&feature=youtu.be
同時作者開源了代碼，這真的很少見：https://github.com/uzh-rpg/rpg_eklt
4、總結
這篇文章較新，取得的結果也不錯，從視頻上看已經能做到實時。相信是一個不錯的研究思路，推測後續的論文也會將本文的結果作爲參考。同時對於作者能夠開源深表讚賞。
本文僅做學術分享，如有侵權，請聯繫刪文。
推薦閱讀：
重磅！3DCVer-學術論文寫作投稿 交流羣已成立
掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿 微信交流羣，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。
同時也可申請加入我們的細分方向交流羣，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點雲後處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流等微信羣，請掃描下面微信號加羣，備註：”研究方向+學校/公司+暱稱“，例如：”3D視覺 + 上海交大 + 靜靜“。請按照格式備註，否則不予通過。添加成功後會根據研究方向邀請進去相關微信羣。原創投稿也請聯繫。
![]( "3D視覺工坊小助理微信.jpg.jpg")
▲長按加微信羣或投稿
![]()
▲長按關注公衆號
3D視覺從入門到精通知識星球：針對3D視覺領域的知識點彙總、入門進階學習路線、最新paper分享、疑問解答四個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發佈3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業爲一體的鐵桿粉絲聚集區，近1000+星球成員爲創造更好的AI世界共同進步，知識星球入口：
學習3D視覺核心技術，掃描查看介紹，3天內無條件退款
![]()
圈裏有高質量教程資料、可答疑解惑、助你高效解決問題
