摘要
手機和平板的廣泛使用,給手持設備上使用gaze估計提供了比較大的應用場景。由於受限的計算資源,低質量的攝像頭,和小的屏幕,視線估計在手機和平板上的應用受到限制。在這篇文章中,作者提供了一個可以應用於平板上的雙目視線估計方法。EyeTab是一種基於圖像處理和計算機視覺的視線估計方法,在平板上可以達到的精度爲6.88°,12fps
引言
主體思想:視線估計是很重要的,但基於單目的還是比較少的
相關工作
- PC-EC:pupil center and eye corner 利用瞳孔中心和眼角進行計算
- Valenti 等設計了一套系統,精確估計頭部姿態和眼睛的位置
- 這篇論文的方法基於之前的 one-circle 方法
eyeTab 系統
- 使用cascade分類器粗略地提取眼睛位置,使用基於形狀的方法定位眼睛中心
- 在所得的眼睛感興趣區域(ROI)內檢測可能的角膜緣邊緣點作爲徑向導數的最大值,並用穩健的模型擬合確定角膜緣的橢圓形輪廓。
- 2D 橢圓反投影3D圓形,計算角膜中心和圓的法向量,法向量就是光軸的方向
- 通過分別計算兩個眼睛光軸和屏幕的交點,計算屏幕的座標
眼睛的定位
- 使用基於haar特徵的級聯分類器檢測眼睛對,然後從眼睛對中分割角膜區域
- 圓形圖案的中心定義爲大多數圖像漸變矢量相交的點
角膜橢圓擬合
使用基於opencv的RANSAC進行橢圓的擬合
視線幾何
使用針孔模型確定相機和角膜之間的距離,這一步依賴於相機的內參和角膜的尺寸,根據生理學知識,可以估計爲6mm
整篇論文的精度可以達到6.88°,6.88±1.8°,與現在的深度學習模型相比,還是有一定的差距的,但是感覺試用範圍更廣,增加個人標定,調整虹膜直徑,可能可以達到更高的精度。