卷首語
谷線上會議、在線教育、電商直播等多個場景的興起，讓實時音視頻互動技術從幕後走到臺前，得到了更多人的關注。編解碼、網絡傳輸、計算機視覺等RTE相關的一系列技術也正煥發出更強的生命力。
在RTC技術領域，如何兼顧實時視頻傳輸的低延時和視頻質量，以及如何評定視頻傳輸質量，始終都是備受關注的話題。隨着5G的商用，視頻傳輸在協議層、應用層又面臨着一些急需解決的變革。
根據北京大學王選計算機研究所的張行功教授的介紹，5G出現後，會對傳輸層協議的要求更高，這裏面主要有幾個原因：首先是由於5G的帶寬更大了，然後是由於5G的抖動，不管是延遲抖動還是帶寬波動都會更大，已經遠遠超出了4G範疇。
這裏先解釋一下，爲什麼5G網絡抖動會更大？通過測量發現，5G是通過時間片方式調度頻譜資源，這意味着將某個時間片分配給一個用戶時，它帶寬資源是獨佔的，但在其他時刻是得不到網絡資源的。因此，如果我們從非常細的粒度，比如從某一個數據包的角度來看，它的延時波動以及數據包之間的帶寬波動都會非常劇烈。5G的理論帶寬是1GB/s，所以一旦出現某個時間片未將資源分配你的時候，那麼你的帶寬波動會非常大。
除了以上兩點，5G會帶來邊緣計算的普及，未來很多數據和服務都會放在一些邊緣服務器上。邊緣計算加上5G的整個物理帶寬和延時的提升，會倒逼傳輸層協議的改進。不管是傳統的TCP還是這些年大家比較關注的像QUIC、BBR，以及一些私有協議。現在的傳輸層協議已經存在40年了，存在較大變革的需求。
另外從應用層的角度講，比如說我們說的ABR或其它業務層相關的算法，隨着5G商用後，都會在邊緣節點發揮作用。因此，內容緩存算法、動態自適應、分佈式視頻編碼和處理等，都會遷移到邊緣節點上，而且對這些算法的性能和交互能力提出更高的要求。
5G會推動VR、AR、雲遊戲等實時視頻應用場景的發展。從應用層的算法，包括海量節點、小存儲，到實時交互、邊緣節點的業務層算法等都會得到改進。
從視頻通信、網絡傳輸方面，在2020年出現了一些比較新的場景，例如雲遊戲和雲桌面。其本質上就是實時視頻，但是技術挑戰會比傳統的視頻更大。因爲其對延時要求很苛刻，人的行爲很難預測。2020年有一些技術嘗試，但是效果不是很理想。所以在今年，業界還會有更多新角度的嘗試來解決這些問題。
第二個就是面向5G以及衛星網絡的研究和應用。5G網絡已經開始商用，衛星網絡方面，我們已經可以看到Elon Musk的StarLink也開始提供測試服務了。所以面向新型網絡的低延時傳輸研究也會是2021的熱點之一。
視頻傳輸方面。在2020年，機器學習、強化學習等方法更多地被用在了網絡領域，包括傳輸層、應用層的視頻通信。在今年將會有更多這方面的研究，提供它的實用性和泛化能力。
最後，視頻傳輸質量評價也是2020年重要的熱點之一。由於現在網絡視頻的種類很多，包括實時視頻、直播、短視頻、VR視頻等，但傳統上視頻質量評價都是面向編碼，但對傳輸的評價一直沒有一個很好的框架。視頻傳輸質量的監控和評價是業務的核心，包括由數據監測、質量評價到故障報警、修復的一套閉環的質量體系，將會是今年被持續關注的熱點之一。
延展閱讀：《專訪張行功：2021，5G將會倒逼傳輸協議、算法做出更多改進》
本期架構師月刊精選了音視頻領域的衆多優秀文章，以期對該領域的開發者有所幫助。
目錄
熱點 |Hot
1049億元!微軟擬收購全球最大語音識別公司Nuance，後者是Siri幕後英雄
觀點 | Opinion
實時互動場景下，音頻的技術變遷與機遇
開源十年，WebRTC的現狀與未來
走向未來的實時生成技術
推薦文章 | Article
構建WebRTC音視頻系統處理結構
手把手帶你實現超實用實時音視頻工具
2021年帶你漫遊語音識別技術
WebRTC基礎知識詳解
流媒體:依託於聲網的連麥解決方案