引言
2021年7月17日，“全真互聯網中的聲與影” TVP音視頻技術閉門會完美收官。TVP技術閉門會，是爲TVP打造的專屬技術閉門研討會，旨在提供一個開放、平等、知無不言的交流環境，便於TVP針對熱門技術話題、前沿科技、技術管理等話題進行深入探討，促進TVP之間，TVP與騰訊內部團隊之間的相互交流與學習。
25位TVP專家及騰訊專家齊聚上海騰雲大廈，開啓騰雲之旅，在精彩紛呈的技術分享與觀點交鋒的熱點話題探討中，共話音視頻領域前沿趨勢，描繪全真互聯網時代的發展藍圖。
活動精彩回顧
視頻生成與合成技術的新進展
線上會議、在線教育、電商直播等多個場景的興起，使得視頻實時生成技術從幕後走到臺前，受到了更多的關注。上海交通大學圖像所副所長、騰訊雲TVP 宋利，從學術界的視角，帶來了《視頻生成與合成技術的新進展》。
上海交通大學圖像所副所長、騰訊雲TVP 宋利
在分享中，宋利首先對音視頻技術發展的整體趨勢做出了高屋建瓴的解讀——技術飛速發展，已從傳統的視頻編解碼處理，向合成、生成、創造進化。圖形學+計算視覺+深度學習的綜合開啓了新思路。
隨後，宋利分享了基於生成模型的視頻編解碼、圖像和諧化、自由視角、視頻的深度特徵表達等四項前沿技術的最新研究成果。
基於生成模型的視頻編解碼：針對視頻會議等背景和姿態較爲固定的場景，在編碼端只傳輸人臉關鍵點信息；在雲端建立關鍵幀池，根據視覺敏感性將人臉分爲敏感區域和非敏感區域，分別進行特徵提取；在解碼端利用生成對抗網絡生成目標視頻幀，可實現高質量，低帶寬的編解碼方案。
圖像和諧化：其核心思想是從背景中深度學習特徵，將它應用到前景特徵上，同時也讓背景從前景中學習，從而生成在色調、亮度、飽和度等視覺特徵上更和諧的組合圖像。
自由視角：是指在場景周圍架設多臺攝像機採集視頻流，使得用戶可以平滑無縫地選擇觀看視角，獲得彷彿在現場自由穿梭的新體驗。目前常用於體育賽事、綜藝表演等，比如在今年的東京奧運會轉播中就有應用。隨後，宋利詳盡地解析了自由視角的三種技術實現路線：DIBR、3D模型以及NeRF。
視頻的深度特徵表達：最後，宋利還介紹了特徵域處理如何爲傳統視頻帶來無限表達自由，包括從壓縮圖像中學習的視頻生成、視頻下一步行動預測、基於關鍵幀的視頻風格化以及視頻任意倍率超分。
全真將至，5G先發
全真互聯的實現，涉及到多層面的因素，雲、終端、應用等等，網絡是其中重要的一層。那麼5G時代的到來，將爲全真互聯網帶來怎樣的機遇？騰訊雲通信副總經理 王軍帶來了《全真將至，5G先發——從5G看全真互聯網時代》主題分享。
騰訊雲通信副總經理 王軍
在演講伊始，王軍首先分享了從5G視角對全真互聯網的深刻理解：
全真互動。以遠程操控爲例，全真互動希望達到的目標是操作流暢，從視聽和觸覺上都能獲得如同現場操作般的真實體驗。
沉浸感知。以VR爲代表的沉浸式體驗。
數字孿生。
要實現全真互聯網的極致體驗，在網絡層面有着兩大核心訴求——低時延、高帶寬。而5G浪潮的爆發正在爲全真互聯創造廣闊可能。王軍指出，到2023年底，國內5G可基本覆蓋所有鄉鎮和重點鄉村；今年上半年，國內5G手機出貨量超億部，由此預估2023年在C端，國內5G手機普及量有望達到5-8億，B端的企業級服務也將不斷拓展。
那麼，快速發展的5G技術與音視頻技術的結合將帶來哪些應用機遇？王軍提出了以下落地場景：
1. 遠程實時操控。基於騰訊雲音視頻多年積累的成熟技術TRTC及遠程實時操控產品TRRO，提供5G網絡下低時延的遠程實時操控能力，可廣泛應用於無人礦車、港口集卡、鋼鐵天車、乘用車無人駕駛等場景。
2. VR雲遊戲。將計算放到雲端，個人邊緣雲主機，按時計費。
3. 全球端到端加速體系。在網絡負載重或網絡質量差的環境中，騰訊雲加速產品可提供低時延與大帶寬的保障。
4. 規模化、多樣化的邊緣基礎設施。包括面向廣域的邊緣公有云與面向本地的邊緣私有云。
在QA環節，王軍和現場的TVP專家還就5G在遠程醫療及自動駕駛領域的應用、移動網絡與WIFI的穩定性、5G CPE等問題展開了熱烈的探討。
全真互聯時代下的多媒體技術
多媒體技術是全真互聯網最爲大衆廣泛而深刻感知的技術。騰訊多媒體實驗室產品副總監、專家工程師 葉聰，以《全真互聯時代下的多媒體技術》主題分享，帶現場嘉賓深入走進全真互聯背後的多媒體技術。
騰訊多媒體實驗室產品副總監、專家工程師 葉聰
在葉聰看來，全真互聯網的實現有兩個維度，一是在連接層面變得更全面，二是在呈現與交互層面變得更真實。
在連接層面，從消費互聯網時代的人與人，人與信息/服務連接，到產業互聯網時代的萬物互聯，再進化爲全真互聯網時代，虛擬世界出現。人、信息/服務、物在虛擬世界的副本與真實世界可以任意相連。
在呈現層面，視覺上發展到與沉浸式相關的體驗如AR、VR。聽覺上發展到全景音。在交互層面，目前行業努力推進的是語音、肢體動作的識別交互，下一代會往腦機接口探索。
而隨着全真互聯體驗要求的不斷提高，其背後的視頻編解碼、視頻處理與沉浸式技術也在快速發展。
編解碼技術上，葉聰將編解碼技術與標準的進化史娓娓道來，從早年的MPEG-2到如今最新的VVC，演進的過程也是中國企業技術話語權不斷增強的過程——目前騰訊有數百項提案得到VVC標準的採納，位列世界第三。目前騰訊雲音視頻旗下轉碼及相關媒體處理應用已支持最新的編解碼標準H.266/VVC。
視頻處理技術上，展示設備會向着8K高清、10bit色彩、高幀率發展。相應的素材也需要進行去壓縮失真、色彩修正、去抖動等優化處理。葉聰以一個效果視頻展示了騰訊雲多媒體實驗室在視頻處理上的能力。
沉浸式技術上，目前有兩大方向：
3DoF，如VR360度視頻，難點主要在於高維採集數據的傳輸，可用切片的方案解決。實驗室打造的VR技術，在騰訊雲臨境沉浸式媒體解決方案上也得到了出色的運用。
6DoF，如步入式VR360視頻，數字孿生方案等等。
在分享的最後，葉聰介紹了3D點雲的概念，其優點在於高度精細化地描述3D對象。騰訊的點雲平臺結合SFM、深度學習等技術，可將現實場景虛擬化重建，應用於線上看房、文物原貌重現、自動駕駛等領域。
技術論道
在乾貨滿滿的技術分享過後，迎來了思想火花迸發的技術論道環節。主持人，騰訊專家研發工程師 劉連響提出了三個頗具深度的熱點話題，現場嘉賓以小組討論的形式，對各個話題展開了充分的討論，在熱烈的交流中碰撞出衆多精彩的觀點。
騰訊專家研發工程師 劉連響
開源與商業之間的關係？
開源與商業間的關係，是現場討論最爲激烈的話題。專家們結合自身經歷，從多個角度探討了開源的驅動力、價值、與商業間的平衡點等等，帶來了充滿啓發性的多元觀點。
熱烈的小組討論
1. 從系統層次看開源：峯暢科技聯合創始人及CTO、騰訊雲TVP 段先德認爲，在不同層次的系統中，開源與商業的關係有所不同。在基礎系統層次，如數據庫框架、基礎應用部件等，主要由開源的技術動機驅動；而在業務場景層次，商業力量則比開源的驅動力更強，業內不乏成功的商業變現案例。
2. 從主導動力看開源：福強科技CTO、騰訊雲TVP 王福強提出了辯證性的新視角——當前，開源也成爲了技術營銷的一種手段。騰訊雲多媒體平臺公共技術負責人 趙軍則進一步對這一觀點展開了探討，即可以根據主導動力，將開源劃分爲社區/個人主導的開源，與商業公司主導的開源。對於商業公司主導的開源，趙軍認爲，把握好開源初心與商業訴求之間的平衡點非常關鍵。
3. 從動機與價值看開源：FFmpeg官方源代碼維護者、騰訊雲TVP 劉歧發表了獨到的見解，根據動機，他將從事開源的開發者劃分爲三類：（1）出於愛好從事開源，將開源作爲個人發揮社會價值的方式。（2）爲了資本追趕開源風口，在投資的風潮過後，開源項目就無法持續。（3）通過開源提升個人影響力，以獲得更好的職業發展。其價值可總結爲個人在社會的價值、在資本方的價值以及在公司的價值。
4. 從商業和公益看開源：盛派網絡CEO兼首席架構師、騰訊雲TVP 蘇震巍指出，開源是在商業中成立的向善循環——通過將產品與技術開源，企業可以吸收社會的資源，讓其他企業用戶幫助發現問題，解決問題，從而推動自身商業模式的不斷完善。
全真互聯網的
第一個落地應用會在哪裏？
對於全真互聯網的未來落地應用，遠程教學是專家們普遍看好的場景，包括醫療領域的手術教學，以及開飛機的駕駛教學。其價值在於能夠避免操作失誤而造成的災難性後果，同時又能降低培養人才的成本。
技術發展將爲
全真互聯網帶來哪些機會？
隨着超高清和XR等技術的發展，以及5G大帶寬、低時延和邊緣分流等能力的成熟，B端和C端的全真互聯網應用將湧現出哪些機會？專家們認爲，無人化是蘊含着商業機遇的方向。低時延將進一步促進遠程操控的發展，如汽車、機器、廠房的遠程操控。
結語
本次“全真互聯網中的聲與影”TVP技術閉門會在開源與商業的激辯中落下了帷幕，嘉賓們對於技術的探討卻一直延續到晚宴環節也未曾停歇。聲音需要碰撞方能激發嶄新的思考；視角需要交換纔會拓寬認識的邊界，這是這場音視頻盛宴在前沿技術之外，給予我們的更深刻的啓迪。
左右滑動查看更多現場花絮
【免費報名】
挑戰與機遇同在，大步邁進
全真互聯網時代
本文分享自微信公衆號 - LiveVideoStack（livevideostack）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。