出品 | AI科技大本營
魔性的背景音樂、酷炫的AR特效、多元的內容題材，讓大衆欲罷不能的短視頻App正在成爲內容生產和傳播主要渠道之一。
而短視頻平臺爲了搶奪用戶，正在通過各種方式提升用戶體驗。其中，AR特效打破虛擬與真實的界線，帶來豐富的娛樂性，再度提升了短視頻的體驗。結合人臉識別技術，AR特效相機可以在人臉上添加各種萌萌的動物掛件，與此同時，AR特效功能還會匹配相應的背景音樂，從而吸引用戶生成有趣生動的AR內容。
騰訊微視作爲一款時下熱門的短視頻軟件之一，對於創意玩法應用也有諸多有趣的探索。
最近，他們推出了“AR投籃機”，在微視APP內搜索“AR投籃”，點擊體驗後，手機屏幕會出現一個投籃的小遊戲，點開始就能投籃。除了AR投籃機，騰訊微視此前還推出了擺攤、熊出沒等有趣的特效。
更重要的是，從微視引入的AR特效功能出發，也可以一窺騰訊在AR前沿技術上的佈局。
這些AR特效背後的核心技術是由騰訊微視光流團隊和視頻理解團隊研發的一整套AR技術基建，具體包括6自由度定位與跟蹤、語義分割、物體檢測等，以及集成物理引擎、渲染引擎骨骼綁定及驅動等技術。
當然，在開發具體AR特效時，以上相關AR算法都被集成到一個SDK，每個具體技術的都可以進行類似模塊化組合，有效加速新能力的接入速度。在玩法設計上，微視將底層的能力統一封裝打包製作成針對設計師的可圖形化操作工具，設計師不需要理解複雜的算法，只需要準備好素材和創意，幾分鐘就可快速生產出原本需要算法和工程人員投入幾個星期才能完成的玩法，極大的提高了生產效率。
那麼，這些特效具體都是怎麼用技術“組裝”起來的？
AR投籃機，模擬真實世界的“手感”
PBR渲染、水平面AR技術幾乎是每個AR特效必備的基礎技術組件，AR投籃機也不例外。
騰訊微視光流團隊自研移動端高性能3D引擎，採用業界領先的PBR算法，可以媲美遊戲級渲染的效果。與主流的遊戲引擎相比，包體只有約1.3MB。除了出色的PBR渲染效果外，引擎架構上保持了良好的擴展性，提供配套的3D編輯器和完善的工具鏈支持，讓設計師可以靈活高效的組裝出各種3D玩法。
在玩AR投籃機時，用戶需要在手機屏幕上定位籃球的位置，在這一特效的三維空間裏面放置一個AR模型，微視的水平AR技術就用到了視覺定位技術，研發人員使用了ORBSLAM、VINS、SVO等SLAM算法來計算，比如，可以一邊建圖一邊定位，定位的精度比較高。
相比ARkit或ARcore，雖然它們高精度定位更好，但微視的水平面AR算法更簡潔，能涵蓋絕大多數的模型，此外，在單目相機的手機上，水平面AR算法能在第一幀就初始化放置AR模型，不需要視差。同時，在魯棒性、計算量、交互和擴展性等方面，水平面AR算法也優於其它技術。
當然，AR投籃機還用到了AR物理引擎、以及PAG技術。
PAG(Portable Animated Graphics) 是一套完整的動畫工作流， 目標是降低或消除動畫研發成本，打通設計師創作到素材交付上線的流程，不斷輸出運行時可編輯的高質量動畫內容。它提供從AE（Adobe After Effects）導出插件，到桌面預覽工具，再到各端的跨平臺渲染 SDK。目前，PAG已接入數十款App。
在使用AR投籃機投籃時，爲了模擬真實世界中投籃的角度和打板距離等因素，這時物理引擎技術就不可缺少，它能實時模擬真實世界物體運動與碰撞反饋。目前物理引擎支持包括長方體、球體、膠囊體、圓柱體以及自定義曲面的剛體模擬與碰撞，支持任意形狀的軟體仿真，能夠自定義配置物體的各種碰撞參數（諸如質量、摩擦係數、彈性係數以及碰撞形狀），能夠模擬物體受力之後的運動狀態，包括加速、減速、靜止、碰撞等。
軟體模擬功能則能夠很好地支持諸如軟球以及布料的模擬，以及真實軟體的碰撞效果。物理引擎使用BVH、CCD等技術來加速碰撞檢測過程，同時保證碰撞檢測精度，在複雜場景下，能夠同時支持數百個剛體的連續碰撞。
目前，生產掛件的LightStudio已經深入整合物理引擎。設計師通過LightStudio上簡單的界面操作，可以低成本地配置出相當真實酷炫的物理模擬效果，能夠支持小遊戲以及AR特效的物理仿真模擬需求。
AR紙片人，讓畫中人動起來
AR紙片人是一個讓簡筆畫或動漫人物“活”過來的特效。當用戶在掃描一個圖案後，其中的紙片人算法會把圖案中的輪廓提取出來，同時通過骨骼綁定算法再給這個3D模型加上起身、跳躍、擺手等動作，如此畫中人就可以“動次打次”起來了。
當然，除了PBR渲染、水平面AR、AR物理引擎技術，AR紙片人還需要用到圖形輪廓點提取、2D轉3DMesh建模。
其中，在圖像輪廓提取上，騰訊應用研究中心與光流團隊聯合設計的通用物體分割算法，結合深度學習和傳統輪廓提取算法，在適應各種場景的同時，還能做到非常高的實時性，即使在中低端機型上也能做到30~40FPS。
而在骨骼綁定處理上，是用於拍攝場景，所以這一特效會佔據一定的計算資源，所以對骨骼綁定的計算是高性能的，而整個骨架中參與動畫的節點層級最多設置了2層，大大降低了IK計算所耗費的性能。
此外，目前業內大多需要設計師藉助專業軟件來手動設計，而他們提出的快速骨骼綁定算法可以根據模型圖案自動提取骨骼並綁定，只需幾十ms就可以完成骨骼綁定。
3D人民幣，識別多張紙幣的大好山河
當你使用3D人民幣特效時，將攝像頭對準第五套人民幣的背面拍攝即可體驗。
在識別人民幣後，會有鳳凰飛旋在人民大會堂、布達拉宮、桂林山水等3D畫面上方。你不光能看到精緻的畫面 ，還能不斷變換角度觀看3D場景細節。
PBR渲染、骨骼動畫技術之外，3D 人民幣主要使用了微視研發的MarkerAR技術。當用戶手動預設一張或多張Marker圖案，就可以通過MarkerAR算法在拍攝畫面中檢測預製的Marker圖案，並實時估計Marker在相機中的自由度位置和姿態。
其中，自研的傳統詞袋模型與深度學習相結合的圖像檢索算法，只需幾百ms就可以在上千張Marker圖案中準確找到與當前圖案最相似的Marker。快速Marker跟蹤算法支持實時跟蹤最多10+個Marker，也就是說，MarkerAR可以快速識別並檢測多張人民幣，隨着不同人民幣的移動，各自的模型也會進行移動。
此外，基於上述基礎技術，他們還做出了線上擺攤應用，通過AR特效讓你體驗一把賣貨，而熊出沒應用，則可以讓你與熊共舞。
當然，微視光流AR技術在端上部署時，也需要解決不同計算設備的適配問題，以獲得最佳的用戶體驗。由於蘋果的硬件相對統一和標準化，所以在包括iphone6S及以上的iOS機型上，微視的AR算法都可正常運行。而在Android端，由於ARCore覆蓋度比較低，他們選擇了算法自研，目前微視在Android端的82%以上機型都可正常運行，在業界具有較高覆蓋度。
未來，AR技術將具備更加多元、深度的交流學習能力，而技術的精進將進一步推動其在短視頻業務場景的落地。
除了AR技術外，騰訊微視也在引領其他技術領域的研發。最近，騰訊微視斬獲VCR榜單第一的BLENDer單模型引發了業界關注，其AI能力已經滲透到微視從圖像處理、用戶理解、推薦算法到運營增長的各個環節。此外，再加上5G時代的高帶寬和低延遲，這些技術的交相融合將極大促進短視頻領域的發展
在短視頻領域競爭如此激烈的當下，騰訊微視在AR等前沿技術上的探索，將繼續推動其短視頻業務的智能交互應用創新，從而更新用戶對技術的認知，並吸引更多用戶體驗。