AV1,實時編碼READY

點擊上方“LiveVideoStack”關注我們


一款編碼器的成功,不僅需要大量的金錢,還需要耐心。AV1定稿三年後,是時候爲它慶祝了。


文 | 包研

不知不覺,距離AV1完成定稿已經過去了三年多,這個新的視頻編碼標準已經獲得了工業界認可,換句話說:AV1成功了。
 
 
截止到2021年8月27日的AOMedia成員名單(圖片來自AOMedia官網)
 
2018年3月28日,AOMedia(簡稱AOM)在其官網上發佈消息,AV1完成定稿,並開放了相關規格和參考代碼。一個時代開始了。在過去三年間,AOMedia不斷迎來新會員加入,其中不乏重量級的國內企業;AV1算法不斷優化,大幅度降低了計算複雜度,包括點播場景和實時場景都可在生產環境中應用,我們也看到如Netflix、Facebook、Google、微軟等巨頭不斷在內部部署AV1;一年一度的MSU視頻編碼大賽從在2017年開始也引入了AV1標準,MSU編碼大賽被認爲是最權威的視頻編碼器評測機構。種種跡象表明,AV1已經成爲重要的編碼器之一。
 
AV1的成功,要得益於HEVC混亂的專利授權機制,並且很好的抓住了VVC成熟之前的時間窗口。相比於HEVC,AV1打出了開源、免專利費的殺手鐗。儘管存在一定的專利爭議,比如Sisvel就宣佈建立了AV1專利池並開始收費。但在Google和衆多巨頭組成的AOMedia擁有越來越強的談判籌碼,目前沒有因AV1專利引起的訴訟的公開報道。LiveVideoStack曾經詢問過關於AV1專利的爭議,一名Google多媒體組的工程師告訴LiveVideoStack:所有與專利相關的詢問都將由法務團隊回覆。

     突破


相對於單純的提升編碼效率(壓縮率),提供低延時、高壓縮率的編碼能力要困難的多。回顧AV1的發展歷史,最先應用AV1的是在點播場景下的視頻壓縮,Netflix和Intel在2019年共同宣佈了SVT-AV1計劃,通過在服務端大量並行的CPU來加速AV1編碼,Netflix也被認爲是最早的應用AV1的長視頻平臺,他們在2016年就宣佈擁抱AV1,並在2020年再Android平臺上部署AV1。YouTube、Facebook、Vimeo、愛奇藝先後宣佈支持AV1。Twitch計劃在2022年或2023年讓最火爆的視頻支持AV1,全面支持AV1將於2024-2025年實現。

YouTube AV1視頻的觀看時長趨勢(圖片來自Matt Frost在AOM Summit 2021上的分享)
 
雲平臺方面,阿里雲、騰訊雲、AWS等雲平臺先後在2019年至2020年推出了AV1的視頻轉碼方案,當然這些服務都僅能實現離線轉碼服務,不能用於實時視頻應用。
 
第一則關於AV1實時編碼成果來自思科,2019年6月舉行的Big Apple Video大會上,Cisco演示了通過AV1編碼的Webex視頻會議,可以實現720p@30fps和1080p@30fps。但根據Cisco的另一篇博客顯示,直到2021年早些時候AV1纔會部署在生產環境中。這凸顯了一款新的視頻編碼器冷啓動的難度。
 
同時,商用編碼器也在取得突破,“微幀團隊在2019年推出了全自研 Aurora AV1 編碼器”,微幀科技聯合創始人&首席科學家Zoe Liu告訴LiveVideoStack。
 
2021年5月,NETINT發佈了一款用於數據中心的AV1編碼實時加速卡。NETINT採用了ASIC芯片方案,這從一個側面印證了AV1的成熟度與市場前景。
圖:在碼率爲30kbps情況下,左圖是AV1編解碼技術處理效果,右圖是Duo目前所使用的編解碼技術的處理效果(圖片來自Google產品博客)
 
首次將AV1用於實時編碼大規模生產環境的是Google的 Duo,Duo是一款實時視頻通話產品。在2020年4月21日,Google產品博客公佈了這一消息。

 巨人的肩膀


AV1生態的繁榮離不開背後巨頭的投入,libaom AV1是其中最重要的項目,主要由Google來維護。從AV1定稿以來,保持了每年一個大版本更新。尤其在2021年,libaom AV1的3.0版更新格外頻繁。Google將Duo上實時AV1編碼能力通過libaom AV1開放給社區,並在不斷優化中。“過去半年我們的主要工作方向在提高實時編碼器運行速度,提高壓縮性能,特別是主觀壓縮質量方向。同時我們也是2-4線程下的實時編碼器算法進行優化,提高多線程效率。這些工作方向在未來的一段時間還會繼續展開”,Google Senior Staff Engineer韓敬寧告訴LiveVideoStack。
 
dav1d是最成熟的AV1開源解碼器,2018年由VideoLAN、VLC和FFmpeg共同開發,由AOMedia提供資助。VideoLAN的president,Jean-Baptiste Kempf在博客上透露:“most of the work for the optimizations are done”,儘管未來dav1d還會做一些優化工作,但主要的工作已經完成。
 
libaom AV1 + dav1d讓AV1的生態達成了非常理想的狀態,尤其是用於終端的硬件解碼器還未普及的情況下,軟件方案也可以很好的享受AV1帶來的收益。

 WebRTC加速器



今年1月20日,IETF RTCWEB草案最終都成爲標準並獲得了一個RFC編號,一週後WebRTC 1.0版發佈。儘管此前WebRTC已經廣泛應用各種瀏覽器、Android客戶端中。毫無疑問,WebRTC定稿將更好的促進各種瀏覽器和系統之間兼容與協作。1月21日,Google宣佈在Chrome中支持AV1 SVC實時編碼。SVC提供了從單個編碼器在單個比特流中生成多層次分辨率的能力。換言之,SVC是對服務器端轉碼和ABR的替代方案。在提供海量視頻通信的場景下,SVC能夠節省巨大的服務器算力開銷。
 
藉助WebRTC,AV1駛入了RTC的快車道。
 
“近幾年, AV1編解碼器的開發已經有了長足的進步。很快,各家都會推出AV1實時編碼的產品或者基於AV1的RTC產品”,拍樂雲創始人&CEO趙加雨告訴LiveVideoStack,“Google的Duo及Cisco的Webex都已經成功將AV1應用於RTC產品,增加了產業界的信心。”本月,拍樂雲發佈了Pano Venus,一款基於AV1的實時視頻通話引擎,也是一套實時視頻SDK服務Solution。趙加雨透露,Venus支持視頻會議、社交娛樂、雲遊戲、泛教育等各行業實時場景,未來也將會服務於4K/8K、全景、VR等下一代實時視頻通信產品形態,一些頭部教育客戶已經找到我們體驗產品。
 
“開源的AOM Encoder已經可以在性能好的終端上實時運行,此外開源的AV1解碼器dav1d的進展也非常迅速,它早就支持在PC或者移動終端的實時解碼”,拍樂雲首席科學家&合夥人章琦表示,“目前主流的i5/i7的CPU上均可以支持Pano Venus,主流的iOS和Android手機上也可以支持Pano Venus,支持的最大分辨率爲1080p@30fps。”
 
“從我們在iPhone 12 Pro的測試情況看,在720p@30fps和相同的主觀質量條件下,運行 AV1 SDK設備的溫度比運行H.264 SDK增加2攝氏度,  電量消耗增加電池容量的1%,內存和CPU消耗相近”,章琦對AV1充滿了信心。

     未來

 
“對於開發商和製造商來說,使用新的視頻編解碼器是一場既費時又費錢的博弈”,Matt Frost(Chair of the board, AOMedia)在演講中直言不諱的表示。在AV1漸入佳境之時,AOMedia已經啓動了AV2的開發工作。AV1不僅要面臨來自HEVC、VVC的挑戰,還要和AV2同場競技。
 
“我認爲AV1的核心壓縮能力還有很大的空間沒有發揮出來。更好的核心壓縮能力也會帶來新的速度和性能的平衡點。所以我個人預期AV1在未來的一年內會帶來更高的壓縮性能,同時運算複雜度會進一步降低,”韓敬寧告訴LiveVideoStack,“AOM也在推進AV2的研發工作。目前的主要工作重心依然是在壓縮性能方向。”
 
據瞭解,AV2將在標準層面,針對實時編碼場景做優化。包括聲網在內的企業正在參與相關工作。
 
在採訪最後,韓敬寧強調:libaom是一個面向全球的開源項目,我們歡迎更多的同行加入我們,一同提升AV1的性能,服務全球的生態系統
 
“Venus的發佈是拍樂雲音視頻技術上一個非常重要的里程碑,代表着AV1在實時通信領域的應用走向成熟。我們希望可以爲AV1生態的進一步發展添磚加瓦,盡一份心力”,趙加雨表示。他還透露,拍樂雲有計劃加入AOMedia。
 
HEVC被認爲是被專利毀掉的標準,相比而言,VVC的專利池清晰了許多。“HEVC由於其高昂且不明晰的專利政策,在其定稿後的多年,都未得到真正大規模應用,特別是在RTC領域。VVC作爲業界最新標準,擁有較高的編碼效率和較高的編碼複雜度,在RTC領域,還有一段路要走,特別是RTC生態的建立。如果其能打破知識產權方面的壁壘,或許未來可期,”談到HEVC與VVC的前景,趙加雨表示。
 
談到Pano Venus的未來,章琦表示:“首先,提升主觀質量。第二,增加覆蓋到的設備種類, 在儘可能多的設備上支持運行AV1的編碼和解碼。”據瞭解,當Pano Venus發現設備無法支持AV1編解碼的情況下,系統將自動切換到H.264視頻流。Cisco Webex也採用了相似的策略。



參考

騰訊雲直播+點播全線產品支持AV1,帶來極致視頻體驗 

許耀武:有趣有挑戰的二十年

AOM聯盟:AV1完成1.0版定稿

Sisvel宣佈成立AV1專利池 1050項專利許可面臨收費

9家專利擁有者退出MPEG LA HEVC 華爲加入HEVC Advance

Netflix與英特爾共同發佈開源編解碼器SVT-AV1

Netflix在安卓移動啓用AV1格式 較VP9編碼效率提升20%

W3C與IETF共同定義WebRTC未來6大應用方向

實時AV1 SVC——釋放WebRTC的真正力量

AV1和開放媒體聯盟(AOM)的發展、成果與未來

AV1的實時模式

重新定義實時視頻時代,拍樂雲發佈國內首個 AV1 編碼引擎 Pano Venus

阿里雲視頻雲正式支持AV1編碼格式 爲視頻編碼服務降本提效 

https://developer.aliyun.com/article/738081

AV1 在 RTC 應用實踐中的現狀與展望 

https://www.infoq.cn/article/2x8BYoYzoeuBk9K21suY

https://en.wikipedia.org/wiki/AV1

https://www.chromestatus.com/feature/6206321818861568

https://trac.ffmpeg.org/wiki/Encode/AV1

https://blog.webex.com/engineering/the-av1-video-codec-comes-to-webex/

https://www.blog.google/products/duo/4-new-google-duo-features-help-you-stay-connected/

https://aomedia.googlesource.com/aom/

http://webrtcbydralex.com/index.php/2019/07/09/real-time-av1-in-webrtc-is-now-production-ready/

https://blogs.cisco.com/collaboration/cisco-leap-frogs-h-264-video-collaboration-with-real-time-av1-codec

https://blog.webex.com/engineering/the-av1-video-codec-comes-to-webex/

http://www.compression.ru/index_en.htm

https://aws.amazon.com/cn/about-aws/whats-new/2020/03/av1-encoding-now-available-with-aws-elemental-mediaconvert/

https://caniuse.com/?search=av1

https://code.videolan.org/videolan/dav1d

http://www.jbkempf.com/blog/post/2021/dav1d-0.9.1-a-ton-of-asm

https://www.prnewswire.com/news-releases/netint-announces-the-worlds-first-commercially-available-hardware-av1-video-encoder-for-the-data-center-301247855.html


掃描圖中 二維碼 或點擊 閱讀原文
瞭解大會更多信息


喜歡我們的內容就點個“在看”吧!

本文分享自微信公衆號 - LiveVideoStack(livevideostack)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章