音視頻技術開發週刊 | 212

每週一期，縱覽音視頻技術領域的乾貨。

新聞投稿：[email protected]。

許路平：Gvoice千萬在語音輸入的那些事

GVoice爲騰訊旗下的主流遊戲提供低延遲語音通話服務，其特點是高併發、覆蓋全球。本次分享的嘉賓許路平是GVoice後臺負責人，他會詳細介紹遊戲業務的特點，以及GVoice針對性的架構與協議的設計原則和方法，高可用保障與成本控制，重點性能突破和未來展望等。

陳曦：超低延遲下的實時合唱體驗升級

RTC（實時音視頻通信）近年來廣泛應用於語聊房、直播連麥、視頻會議、互動課堂等場景，延遲一般在200ms-300ms，已經可以滿足大部分場景的互動需求。但還有一些場景對延遲的要求非常苛刻，延遲的高低直接影響用戶體驗，如“線上KTV”、“雲遊戲”等。本文來自即構科技行業解決方案總監 陳曦在LiveVideoStack公開課的分享，結合即構科技在實時合唱場景中實現極致工程化的經驗，對超低延遲體驗的優化思路進行了詳細解析。

對話騰訊雲專家工程師常青，聊一聊全真互聯網的“小小”變化

三年時間，從“懵懂少年”到能從容應對客戶需求，擁有更加成熟和成體系的業務線，覆蓋更多場景的產品線，不僅有音視頻的傳輸，還有實時消息的通訊，以及視頻內容的製作。這背後是騰訊雲各個團隊之間完美配合的結果。在邁向全真互聯網的過程中，有一位朋友感受到了其中一些“小小”變化：追求越來越低的傳輸延時；對虛實結合的運用越來越普遍，以及VR 技術有可能會走出“花瓶”階段進入穩定的發展期。這位朋友就是來自騰訊雲的專家工程師，騰訊雲音視頻終端研發總經理——常青。

對話谷歌技術專家：SoundStream未來有望用於通用音頻編碼

近期，谷歌推出了一款基於AI的音頻編解碼器——SoundStream。根據谷歌介紹，SoundStream是首個可以編碼不同聲音類型、同時提供高質量音頻並能在智能手機CPU上實時運行的神經網絡編解碼器。今年早些時候，谷歌曾發佈了一款名爲Lyra的超低比特率音頻壓縮編解碼器。一年之內，谷歌推出了兩款基於AI的音頻編解碼器。這兩款編解碼器究竟有什麼不同？谷歌爲什麼如此專注於低比特率的音頻壓縮？SoundStream是否將成爲一款通用音頻編解碼器，還是隻專注於特定領域？新版Lyra是否有可能替代Opus?

8K內容分發挑戰

這篇文章中 3 位主講人分別從電視製造商角度、終端用戶角度以及編碼器從業者角度來分析討論8K內容的分發問題。

優酷播放體驗優化實戰（一）--實戰概覽

隨着互聯網的發展，用戶對於觀看體驗的需求和預期也在不斷提高。千兆光纖入網的用戶無法接受頻繁的網絡卡頓，購買4K電視的用戶樂於觀看更高畫質的視頻。播放體驗優化，就是持續地去發現用戶觀影過程中不好的體驗或感受，並通過技術手段將這些問題解決。

應對個性化定製語音合成挑戰，微軟推出AdaSpeech系列研究

當前語音個性化定製仍面臨一系列挑戰：1）爲了支持不同類型的說話人，源 TTS 模型需要支持不同類型的聲學條件，比如不同的口音、說話風格、錄音環境等，這可能與訓練源TTS模型使用的聲音數據的聲學條件並不相同；2）爲了支持大量的說話人，需要減少聲音定製過程中使用的目標說話人的數據以及適配參數，以實現高效的聲音定製化。面對以上挑戰，微軟亞洲研究院機器學習組和微軟 Azure 語音團隊合作推出了 AdaSpeech 1/2/3 系列工作，旨在實現更有泛化性且更高效的語音個性化定製…

如何實現 Android 短視頻跨頁面的流暢續播？

在一切皆可視頻化的今天，短視頻內容作爲移動端產品新的促活點，受到了越來越多的重視與投入，同時短視頻也是增加用戶粘性、增加用戶停留時長的一把利器。那麼如何快速實現移動端短視頻功能呢？前兩篇我們介紹了盒馬短視頻秒播優化（iOS 篇/Android 篇），本篇我們聊聊秒播之外，另一個從體感上增加短視頻用戶體驗的能力 - 續播。

VVC爲什麼首先在印度落地？

9月10日消息，MX Player宣佈在印度市場支持VVC編碼的視頻服務。據TNW報道，“大約20%的設備能支持VVC解碼”，MX Player首席產品官Siddharth Mantri表示。VVC這一新視頻編碼標準最新的應用案例。去年7月2日，VVC完成定稿。

H.266/VVC 標準之量化技術

H266/VVC中的量化技術包括均勻標量量化(Uniform Reconstruction QuantizationURQ)、符號位隱藏(Sign Data Hiding,SDH)、網格編碼量化(Trellis-coded Quantization, TCQ)

ICASSP2021：AV1基於決策樹幀間劃分早停止

AV1引入了很多新的編碼工具，導致其計算複雜度非常高。論文通過決策樹在幀間預測進行塊劃分時預測劃分方式，從而及早停止劃分以減少時間。

HTTP 2.0 ，有點炸 ！

這篇文章我們來聊一聊 HTTP 2.0，以及 HTTP 2.0 它在 HTTP 1.1 的基礎上做了哪些改變，以及 HTTP 2.0 都有哪些特徵。

用VMAF進行測試和監測可以實時進行! 

BLUEDOT, inc.剛剛在Xilinx Alveo和亞馬遜網絡服務（AWS）Ec2 F1實例上發佈了FPGA加速解決方案。

https://github.com/bluedot-io/Pulsar-VMAF

[ion-sfu系列]——0爲什麼用ion-sfu

ion-sfu作爲ion分佈式架構裏的核心模塊，SFU是選擇轉發單元的簡稱，可以分發WebRTC的媒體流。ion-sfu從pion/ion拆分出來，經過社區打磨，是目前GO方案中最成熟且使用最廣的SFU。

https://zhuanlan.zhihu.com/p/408323207?utm_source=wechat_session&utm_medium=social&utm_oi=981572951832936448&s_r=0

視頻中的目標檢測與圖像中的目標檢測具體有什麼區別？

簡單來說，視頻檢測是比單張圖片檢測多了Temporal Context（時間上下文）的信息。不同方法想利用這些Context來解決的問題並不相同。一類方法是關注如何使用這部分信息來加速Video Detection。因爲相鄰幀之間存在大量冗餘，如果可以通過一些廉價的辦法來加速不損害性能，在實際應用中還是很有意義的。另一類方法是關注這部分信息可以有效減輕單幀圖片檢測中由於運動模糊，物體面積過小導致的困難，從而來提升性能。

基於學習的光場圖像壓縮方法

本文提出了一種基於學習的端到端光場圖像壓縮模型，在圖像重建質量和處理速度上展示了比較好的性能。

ICCV 2021 | 基於生成數據的人臉識別

本文是對發表於計算機視覺領域頂級會議ICCV 2021的論文“SynFace: Face Recognition with Synthetic Data” （基於生成數據的人臉識別）的解讀。

對抗樣本無法被重建！CMU提出通用的無監督對抗攻擊檢測方法

近日，來自卡內基梅隆大學和KAIST網絡安全研究中心的研究團隊提出了一種新的技術方法，他們試圖引入無監督學習來解決當前對抗性攻擊檢測所面臨的一些挑戰。實驗表明，利用模型的可解釋性和對抗攻擊之間的內在聯繫，可以發現哪些數據樣本可能會受到了對抗干擾。目前，這項研究方法已受邀在2021 KDD  （Knowledge Discovery and Data Mining）對抗性機器學習研討會（AdvML）上進行了展示。

ONNX 淺析：如何加速深度學習算法工程化？

ONNX是一個對計算網絡(Computation Graph)的一個通用描述(Intermediate Representation)。它希望被設計成爲開放的網絡描述格式，減少開發者在各個訓練和推理框架間切換的代價，可以讓開發者專注於算法和優化。雖然ONNX還處於比較早期的階段，不過已經有越來越多的人開始關注到它，未來會有機會得到更廣泛的應用。

自動駕駛穿越“生死線” | 甲子光年

本文，「甲子光年」採訪了國汽智控CEO兼CTO、國家智能網聯汽車創新中心首席技術專家、中國智能網聯汽車產業創新聯盟基礎軟件工作組組長尚進博士，同濟大學汽車學院朱西產教授，中國電動汽車百人會副理事長董揚等專家，以及元璟資本、輕舟智航、元戎啓行、領駿科技、斯年智駕等數位從業者，來探討自動駕駛安全問題。

泰達觀點分享 | 量產智能駕駛或將長期停留在L2階段

事故頻發、過度營銷，數據疑雲……智能駕駛剛剛成爲核心賣點不久，就再次被推至風口浪尖。事實上，從智能駕駛概念被提出以來，儘管其被認爲是汽車智能化的核心之一，軟硬件技術也在飛躍式發展，但整體進程卻不算順利。直到現在，智能駕駛該如何發展？高階智能駕駛需要什麼？也長期沒有定論，更沒有統一的標準。近日，在中國汽車產業發展（泰達）論壇上，多位業內專家及從業者對智能駕駛的現狀及面臨的問題發表了自己的看法。

車端激光和雙目相機的自動標定算法

在車端配置一個雙目相機再加上一個激光雷達已經成爲一種比較常用的配置。但是爲了融合相機和激光數據我們需要一個複雜的標定過程。本文提供了一種不需要人干預的自動化的雙目和激光雷達的外參估計方法。本文的標定方法是克服在自動駕駛車輛中的傳感器的常見的限制，如低分辨率和特殊的傳感器的位置（如你在車端在沒有升降臺的情況下不能讓車上下動，roll,pitch旋轉）。爲了證明算法的可行性，作者分別在仿真和真實環境中做的實驗都表現出了比較好的結果。

07 / LiveVideoStack主編觀察：走，卷海外去

上週，和幾位技術專家擼串，談笑間除了常規的八卦和小道消息，值得關注的是很多公司開始發力海外。這主要是由於國內外的競爭壓力差導致的，換句話說，海外還沒有國內那麼卷。國內的卷是全方位的卷，體現在人才的爭奪和市場的惡意競爭。

---

活動推薦

【免費參與】全真互聯網下音視頻技術創新應用

騰訊雲音視頻基於在音視頻領域21年的積累，構建了全球領先的RT-ONE™音視頻通信基礎網絡、完整的音視頻PaaS平臺及終端SDK產品矩陣，10月29日 | 北京，LiveVideoStack聯合騰訊雲共邀5位技術大牛，將爲大家帶來全新all in one終端引擎、跨平臺能力、海外直播技術、雲渲染技術、多媒體處理等技術的最新動向。

⏰ 活動時間：2021/10/29 14:00-18:00

🚀 參與方式：掃描上方二維碼，免費參與線下活動（現場還會有精美禮品喲～）

---

9月14日 晚7:30 | 主編對話 Netless白板創始人 伍雙

⏰ 活動時間：2021. 09.14 | 19:30

🚀 觀看方式： 掃描上方二維碼關注LiveVideoStack視頻號，預約觀看~

---

掃描上方二維碼，報名LiveVideoStack Meet | 北京沙龍吧！

---

插圖源自Pexels

本文分享自微信公衆號 - LiveVideoStack（livevideostack）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。