目前，人臉和圖像識別的相關技術已經廣泛投入到商業應用中，比如以 FaceU 爲代表的視頻拍攝工具類 APP，以及各種直播類 APP 中都有基於臉部的動態貼紙特效功能。此外各大硬件廠商也在設備的系統層面上提供了類似的功能，比如蘋果從 iPhoneX 開始提供的 Animoji 玩法，華爲在 Mate30 系列以及 Google 的 Pixel4 手機上都提供了通過隔空手勢來操作設備的功能。
作爲視頻平臺，優酷天然地與用戶有非常多的潛在互動場景。從去年開始，我們加快了在“創新交互”上的預研，主要方向爲基於圖像識別算法、基於智能硬件的應用實踐，以下爲技術上的思考總結，希望對大家有啓發。
一、基於圖像識別算法實現隔空手勢操作
- 背景介紹
當用戶使用移動端設備，選擇一個綜藝或劇集後，會處於一個長時間的靜止觀看狀態，雙手自然地被釋放出來，且距離屏幕如此地近，隔空手勢操作就成爲一個很好的切入點。因爲既然用戶不需要經常性的操作設備，用戶就更有動機不會長時間地接觸設備，從而釋放雙手去同時做其他的事情，那麼當用戶偶爾地需要再次操作設備時，比如臨時地暫停/播放就帶來了操作成本（需要再次起身走近或拿起設備），因此如果通過隔空手勢能完成這些操作就給用戶降低了這種場景的操作成本，從而爲用戶體驗帶來了價值。
並且，我們發現優酷的 iPad 版本是最適合接入這個功能的，它更適合近距離觀看，而且有攝影頭。
基於 iPad 本身的特性，我們對圖像識別技術的性能也是有要求的，平板電腦本身還是個移動設備，因此不能帶來設備的耗電量加劇、設備過熱發燙等影響，最終我們與阿里達摩院的 AILabs 團隊合作。AILabs 團隊的手勢識別效果已經在天貓精靈上得到驗證，其識別成功率上在 95%以上，並且在我們接入後基於優酷 iPad 的用戶規模會帶來更多的數據迴流以供算法模型的訓練，從而良性循環地持續提升識別成功率。
同時對硬件 CPU 的消耗也很低，經過實測在非低端設備上的耗電量、發燙等問題均在可接受範圍內。
- 實現方案：
我們在優酷 iPad 的部分機型上通過 4 種手勢實現了六種隔空手勢操作：播放/暫停、快進、快退、全屏/半屏切換。
同時考慮到性能影響，在滿足識別需要的同時採用了攝像頭最低的 540 分辨率以及 15 幀率的圖像數據。並且，由於迴流的數據屬於敏感的用戶隱私數據，我們對迴流的數據執行嚴格的無人爲處理並且供數據模型訓練後及時銷燬。
- 線上效果：
目前開啓該功能的用戶，日均使用 30 次左右，目前利用數據迴流帶來的算法模型優化手勢識別的成功率達到了 97.4%，並且還在持續提高。從媒體和渠道的反饋看，用戶對這類簡單好用的互動功能，接受度很高，比如有用戶就給了“吃飯時看視頻神器”的標籤。
接下來，我們還會嘗試接入新的手勢及其他類型的交互方式，給用戶帶來更好的體驗。
二、基於設備硬件實現兒童護眼模式
- 背景介紹
相信有孩子的家長們一定做過這樣的事：當孩子看視頻時，經常會叮囑“離屏幕遠一點”。自從蘋果的 iPhoneX 和 2018 年的 iPad Pro 開始就集成了前置的原深感攝像頭，可以獲取到人臉相關信息，實現人臉識別解鎖等功能。這部分能力已開放，可以以幀爲單位實時獲取識別到的人臉數據，包括 51 種臉部局部表情，人臉 3D 模型的物理世界座標，甚至包括眼部等局部位置的座標信息等。iOS 系統提供的 Animoji 也是基於這套硬件實現的。那麼如果利用系統提供的這個“天然”的能力，我們就可以將其應用到實時監測兒童的眼睛距離屏幕的距離，來實現“自動提示”的護眼模式。
- 實施方案
我們選定 40 釐米作爲兒童眼睛距離屏幕的安全距離，當眼睛距離屏幕中心小於該距離時播放畫面會給出護眼提示，同時暫停播放內容。當眼睛移至 40 釐米之外時，再次恢復播放狀態。
- 分享一個技術實現細節
設備監測到的雙眼座標是“基於以攝像頭爲原點的三維笛卡爾座標系”，即人眼到攝像頭的距離，而實際上我們需要獲取的是“人眼距離屏幕中心點”的距離，兩者存在一定誤差，我們希望儘可能的縮小或消除它。
優化策略：系統返回的座標信息就是基於以攝像頭爲原點的仿射變換 4 維矩陣，該矩陣的第四列向量的前三個元素即爲 x、y、z 座標數據，以米爲單位。那麼我們只需要構造出包含屏幕中心點相對於攝像頭的變換矩陣即可，因爲處於同一座標系，且距離單位相同，通過計算就可以得到相對更準確的距離。
這裏屏幕中心點距離攝像頭的距離即 x 軸分量可以通過拿尺子實際測量的方式來獲取，由於屏幕中心點相對於攝像頭位置是永遠不變的且同處在 xy 平面內，因此只需要一個 4 階單位矩陣將其第四列向量中的 x 軸分量值替換成實際測量的距離並以米爲單位就可以了。
三、總結
如何應用現有的技術，小步快跑地提升用戶體驗？我的一點經驗是：一是基於對技術的需求，以合作實現最終目的，二是依賴系統提供的現有能力找到適合自己業務場景的應用。三是要提升用戶體驗，不一定要覆蓋全部用戶。我們在交互方式上的兩種探索，都是以極低成本，先爲一部分用戶帶來實際價值，再去思考創新延展。
作者 | 阿里文娛高級開發工程師 思也