LiveVideoStack又出乾貨，建議持續關注。ps：我和LiveVideoStack真的沒半毛錢關係，只是覺得文章很贊轉的。
本文討論了HEVC，AV1和多功能視頻編碼（VVC）的當前狀態，回顧了每種編碼器在最近一年的進展。您將從開發者的角度瞭解每個編解碼器的最新進展，包括從編碼耗時、成本與編碼質量等方面得出的對比結果，並獲悉編解碼器市場在過去幾年中的發展趨勢以及編碼器的意義與價值。
文 / Jan Ozer
整理 / LiveVideoStack
我們關心的是什麼？
我們知道，有史以來最成功的兩個編解碼器是MPEG-2和H.264，但這兩種編解碼器主要是爲廣播市場定製，與流媒體沒有太大關係。編碼器標準對於廣播領域的價值在於可以從編碼、傳輸、解碼空間等方面將衆多供應商牢牢捆綁在一起。雖然每個編解碼器都有特許權使用費，但特許權使用費的存在是合理的，而且單一專利池的管理也應該是良好且透明的。
而現在，流媒體已經超過了傳統廣播並且很快就會將其取而代之。雖然標準的制訂對於流媒體和廣播來說一樣重要，但標準制定的過程卻有所不同。桌面操作系統中的核心技術由衆所周知的兩家公司——蘋果和微軟控制，而蘋果與谷歌也控制着在各自移動操作系統中部署的技術；至於部署在OTT設備中的核心技術則由亞馬遜、蘋果、谷歌和Roku在內的少數公司控制。通過亞馬遜、Hulu、Netflix和YouTube等平臺播放視頻成爲擺在人們起居室內的智能設備必須具備的功能，這些供應商所使用的技術也必須得到電視機、OTT設備和機頂盒的支持。
如果用棒球作爲比喻的話，H.264就像是一場三壘打，在沒有任何失敗出現的情況下得分；HEVC則更像是一場二壘打，存在一系列自我犯下的失誤。VVC則始於其他沒有被MPEG認可的編解碼器，標準化能否成功尚不明確。此外，額外壓縮效率的經濟價值正在迅速下降。很久以前，內容分發網絡的每GB流量費用是50美分，因此降低視頻的數據速率意味着真正的碼率節省；而現在，這一價格遠低於每GB一分錢，爲節省碼率而降低視頻數據速率繼而採用額外編解碼器的策略，最終卻導致成本更難以收回。
從QoE的角度來看，這一觀點也是正確的。當家庭帶寬平均低於3Mbps而移動設備通過3G連接時，使用HEVC或VP9提供1080p視頻與使用H.264提供720p視頻相比具有更多潛在價值。現在，美國的平均家庭帶寬超過14Mbps，而5G的到來更加降低了更高效編解碼器所帶來的最終用戶利益。因此，即使壓縮效率提升一倍，其也未被證明是絕大多數生產商採用新編解碼器的首要條件。
一個編解碼器被採用的關鍵在於能夠進入新市場而非降低運營成本——賺錢而不是省錢。例如VP9比H.264的壓縮效率高出30％到40％且能與86.39％的移動和桌面瀏覽器兼容。然而，根據Encoding.com給出的報告我們發現，VP9的使用率從2016年的11％下降到2018年的5％；與此類似的是，儘管78％的Apple移動設備支持HEVC，但Encoding.com報告也指出，2018年只有3％的視頻被打包成HLS——一個基於HEVC的流媒體格式。
當Adobe在2007年將H.264集成到Flash中時，似乎整個網絡視頻市場在幾個月內就會轉而支持新的編解碼器，以至於在12年後的今天，Encoding.com所統計的H.264市場佔有率仍高達82％。因此，雖然編解碼器研究人員總是強調新編解碼器能帶來的微小效率增益，營銷人員也對一次次地兼容新平臺而感到憤怒，但很少有視頻製作商關注那些除去世界上最大的訂閱型視頻點播（SVOD）、廣告型視頻點播（AVOD）或用戶原創內容（UGC）平臺之外的內容。
下一個風口將是能夠在足夠多平臺上可用的編解碼器，允許發佈者編碼爲單一格式並最終使H.264退出歷史舞臺。在流媒體媒體報道的NAB Show採訪中，Twitch的沈悅時教授表示他的公司希望到2024年能夠用AV1做到這一點。
我們可以從上述內容中得出什麼結論？“支持基於特定標準的編解碼器”這一在過去看上去頗爲成功的商業模式放到現在已經不再重要，大多數流媒體製作商都通過採用針對新市場兼容性更好的編解碼器而不是一味降低運營支出來提高營收。“隨時隨地觀看“將成爲新編碼器取代H.264編解碼器的最重要因素。在這一點上，無論哪個編解碼器取代H.264都有可能帶來版稅問題，而哪一個編解碼器的版稅政策最實惠合理將直接決定未來哪一款編解碼器將成爲這場戰役的優勝者。
接下來，我們來看看HEVC、AV1和VVC在過去一年左右的發展情況。
HEVC
HEVC於2013年1月26日正式成爲國際標準。六年後，HEVC在我們所使用的所有瀏覽器中佔16.57％（圖1）。相比之下，H.264獲得了96.96％的瀏覽器支持，而VP9的支持率爲86.39％。如果您必須選擇一個案例來顯示災難性的特許權使用費政策所帶來的壞處，那就是HEVC。
圖1.截至2019年5月28日，HEVC在瀏覽器中的覆蓋率
ScientiaMobile於2018年8月23日統計了硬件加速HEVC解碼在移動端的支持情況，iOS設備爲78％，Android爲57％（圖2）並且從那時起明顯增加了。然而，雖然Apple已經在iOS Safari瀏覽器中提供HEVC播放並簡化了所有流媒體製作者的訪問流程，但仍然沒有Android平臺的瀏覽器支持HEVC播放（圖1），這意味着Android上的HEVC播放主要是通過應用程序來支持。這就導致HEVC通常適用於那些通過應用來部署的頂級OGC和高級內容站點，但卻不適用通過瀏覽器提供服務的站點。
圖2.移動平臺支持硬件加速的HEVC播放*
如果我們討論HEVC的使用率，在Bitmovin的“2018年視頻開發者報告”所統計的456名受訪者中，有42％的受訪者表示他們使用HEVC編解碼器部署視頻，但這一數字並不表示實際以該格式部署視頻的佔比。在詳細介紹2018年行業產品結果的“2019年全球媒體格式報告”中，Encoding.com表示，2018年生產的所有視頻中有12％是以HEVC爲編解碼標準，同時Encoding.com也提出了一些樂觀的預測：“2017年，大部分HEVC主要用於測試和開發；然而在2018年，我們相信HEVC已被推廣到視頻製作的許多工作流程，並且我們預計2019年，在UHD HDR內容愈加普及的推動下，HEVC的市場佔有率將大幅增加，因爲滿足HDR、 Dolby Vision和HDR +標準的優質視頻內容需要基於HEVC纔能有效實現。
如前所述，Encoding.com補充到，2018年HEVC標準在基於HLS傳輸的視頻中的佔比爲3％。所有這些都符合上述敘述：製作人正在部署HEVC以爲新設備提供更加出色的格式，但這樣做並不會帶來明顯的帶寬節省或運營支出減少。
編碼和轉碼
在編碼方面，HEVC受益於英特爾可擴展視頻技術（SVT）-HEVC編解碼器的加入，SVT-HEVC爲基於英特爾至強可擴展處理器和英特爾至強D處理器架構的編碼系統運行的軟件編碼帶來了十分顯著的性能提升。我將在本文的AV1部分更多地討論英特爾的SVT技術。
去年，基於硬件的HEVC轉碼的可用性也有所增加，硬件HEVC轉碼實現了對實時媒體流進行更高密度的雲轉碼。在2019 NAB展會上，我們看到了來自NGCodec的基於FPGA的解決方案以及來自NETINT和SoftIron 的基於SoC的解決方案。
知識產權
在過去的12個月裏，三個HEVC專利池與自主知識產權（IP）所有者的HEVC特許權使用費政策幾乎沒有變化。這可能與最大的持有量與內容版稅有關，其中的兩個池——MPEG LA和HEVC Advance表示他們不會收取任何費用，MPEG LA以及HEVC Advance主要通過非物理媒體（如流媒體）傳送必要數據。
在撰寫本文時也就是HEVC比特流成爲標準後的6年4個月零4天，Velos Media仍在網站上指出：“因爲它與內容有關，我們將花時間充分了解生態系統的動態和確保我們的模型最好地支持HEVC技術的發展和使用。“有人可能會建議公司僱用一兩個MBA來解決這個問題。或者用Bob Dylan的話來說：“你可能不需要MBA來判斷下一個風口。”正如我在博客上的文章“HEVC知識產權所有者正在殺死金冠王”中所表述的那樣，你所要做的只是參加Streaming Media East的幾場會議並且聽到多家出版商因內容版稅的不確定性而宣誓離開HEVC陣營。
也就是說，由於專利監督組織 “ UnifiedPatents”已對超過30％的Velos Media已知專利提出質疑(https://www.unifiedpatents.com/insights/2019/5/20/velos-media-patent-likely-unpatentable) ，Velos Media可能正忙於澄清其在內容版稅方面的地位，而與Velos Media已知專利的約5.5％相關的一項挑戰，似乎已經越過了最初的障礙——具體來說，2019年5月16日美國專利商標局的專利審判和上訴委員會發現，[Unified Patents] “顯示出它未在專利性方面佔上風的合理可能性”並允許其被試用。
由於它與HEVC知識產權政策和特許權使用費有關，因此可以想到“正常情況，所有犯規（SNAFU）”這一俚語。這就是2015年第二個專利池（HEVC Advance）推出以及開放媒體聯盟（AOMedia）成立時的方式 - 也就是今天的樣子。
AV1
當然，AV1是AOMedia的開源編解碼器。它於2018年推出，過去12個月在編碼時間和解碼效率方面都有所改進，但我們沒有看到編碼效率的革命性變化。當然，重要的消息是有一個聲稱是AV1部署版稅的專利池被推出，所以讓我們從那裏開始吧。
2019年3月27日，總部位於盧森堡的Sisvel公佈了兩個新的專利池，提供與VP9和AV1規格相關的專利許可。這些專利池僅適用於消費類顯示設備如智能手機、電腦和電視以及非消費者顯示設備如機頂盒、加密狗和顯卡。VP9的標準費率爲顯示設備0.24歐元，非顯示設備0.08歐元，而AV1標準費率分別爲0.32歐元和0.11歐元。
這些池代表了來自JVC、KENWOOD Corp.、Koninklijke、Philips、NipponTelegraph and Telephone Corp、Orange和Toshiba IPR Solutions的專利許可。根據Sisvel首席執行官的問答，Sisvel池不會對內容收費，但也沒有排除基於軟件播放的專利授權費用。（作者注：詳見流媒體學習中心，作者正在爲Sisvel提供一些編輯諮詢服務。）
當AOMedia宣佈發佈AV1時，它還宣佈爲任何與專利相關的訴訟提供法律辯護基金，Sisvel專利池的出現並不令人感到驚訝——沒有人起訴任何人，所以辯護基金並沒有發揮實際作用。此專利池的下一個主要發展將是Sisvel提交專利名單，該名單應該在2019年夏末或初秋被提交。一旦提交名單，其他知識產權專業人士可以開始審查專利的真實性以及它們是否適用於AVI和VP9。在那之前，Sisvel宣佈的該專利池的唯一真正效果是所有潛在用戶都注意到AV1可能不是免版稅的。
AV1瀏覽器支持
由於Google和Mozilla都是AOMedia成員，因此Chrome和Firefox可支持AV1播放並不是一件奇怪的事。加上Opera全系列瀏覽器對AV1的支持，AV1現在佔所有瀏覽器的35.28％。也就是說，在3月份谷歌宣佈在Android Q（現已推出測試版）中“引入了對開源視頻編解碼器AV1的支持，並允許媒體提供商基於更少的帶寬將高質量的視頻內容以流媒體的方式傳輸到Android設備。“這似乎表明Android Q對AV1的支持將僅限於視頻內容的播放而非視頻錄製。
圖3.截至2019年5月，AV1在Chrome，Firefox和Opera中播放，佔所有瀏覽器的35.28％
在2018年11月，微軟發佈了betaAV1視頻擴展，允許Windows10設備播放AV1。沒有任何跡象表明微軟何時將其添加到Windows 10更新當中以對此特性進行更廣泛的分發，也許是當AOMedia成員Apple將AV1添加到其計算機或設備當中時。
AV1編碼/解碼的硬件支持計劃直到2020年中期，而基於AV1的比特流標準大約在2年後纔出現並且這一標準似乎正在按計劃演進。請注意，基於瀏覽器的流媒體播放的發展已被證明比許多專家所預測更加迅猛，這預示着AV1採用基於瀏覽器的播放將達到更好的播放效果。2018年10月在StreamingMedia.com的報道當中，在運行於配備2.8GHz Intel Xeon E3-1505M v5 CPU的HP ZBook筆記本電腦的Chrome上，播放youTube平臺中使用AV1編碼的1080p視頻消耗了大約20％的CPU。幾天後，我在我的博客上報道，使用同一個筆記本上的Firefox播放相同的視頻消耗了大約10％到15％的CPU資源（圖4）。
圖4.由2.8 GHz Intel Xeon E3-1505M v5 CPU提供算力的HP ZBook上播放AV1視頻
在2019年5月23日，Mozilla宣佈將dav1d解碼器集成到Firefox中，這應該進一步降低此過程所需要的CPU資源。Mozilla的報告中還稱，使用Firefox Beta播放的視頻中有11.8％使用了AV1，高於3月份的3％和2月份的0.85％。大部分流量可能來自YouTube，後者發佈了AV1播放列表。此外，Google軟件工程師StevenRobertson在2018年的Demuxed上承諾，YouTube將在2018年10月底之前實現每秒傳輸1TB的AV1編碼視頻；Netflix還在2018年9月發佈了一些AV1編碼視頻供公衆使用。
然而，正如我們在2018年報道的那樣，Netflix將其1080p視頻編碼爲6.7Mbps，而YouTube則爲5.1Mbps，因此兩家公司都沒有推動畫面質量的進一步提升。雖然Facebook聲稱AV1與x264相比節省了51％而與VP9相比節省了32.5％，但該公司尚未公開表示它正在公開發布AV1編碼的視頻。此時，在基於AV1的比特流標準確立一年之後，我們不知道是否有任何公司實現了Facebook聲稱的比特率節省。
我們知道編碼時間已經急劇下降。當StreamingMedia.com在2018年8月首次關注AV1編碼時，編碼時間比實時長45,216倍。在2019年3月的測試中，這比實時時間縮短了147倍。在2019年NAB展會之前，英特爾和Netflix宣佈推出SVT-AV1，他們聲稱在英特爾Xeon可擴展處理器和Intel Xeon D處理器上運行能夠實現4K / 60p 10位實時編碼。（圖5）。
圖5.據報道，SVT-AV1能夠在某些Intel CPU上進行4K / 60p 10位實時編碼
什麼是質量打擊？關於這一點我們還不得而知，但AOMedia發佈的SVT-AV1和AV1版本之間的質量差異應該會隨着時間的推移而減少，這就是現狀。
根據BBC的說法，AV1是以谷歌的VP9規範爲基礎構建的。爲此，各種AOMedia成員提出了不同的“工具”以將AV1包含在編解碼器中。至少在開始時，必須使用正確的工具把螺栓成功固定到編解碼器架構中，而不是簡單的集成以獲得最大的編碼效率。這就是爲什麼AV1的編碼時間在編解碼器開發過程中出現飆升現象的原因。
英特爾的SVT旨在實現“將編碼器內核拆分爲獨立運行的線程”每個線程處理輸入圖像的不同段，它們在不同的處理器內核上並行運行同時不會造成任何保真度損失。這加快了像Intel Xeons這樣的多核CPU的編碼速度。但是將AV1移植到SVT架構始於該核心功能，並可實現隨着時間的推移添加不同的工具。因此，任何SVT編解碼器的版本都不會達到與同一編解碼器的穩定版本相同的質量，但隨着時間的推移，二者的差距會逐漸縮小甚至消失。
因此，在過去的12個月中，AV1展示了編碼和播放效率以及大量的瀏覽器支持成果，同時也展示了版權費用的未來發展。
VVC
VVC是由MPEG和ITU共同開發的下一代（在HEVC之後）標準化編解碼器。質量目標是在維持相同畫質不變的前提下比HEVC降低30％的比特率。儘管該編解碼器計劃在2020年底之前正式商用，但現在與其相關的一系列質量對比已經展開。
BBC所展示的對比結果如如圖6所示，其中JEM代表VVC聯合探索模型，HM代表參考HEVC模型。如2018年國際廣播公約所發佈的題爲“MPEG和AOMedia中最近的視頻編碼發展概述 ”的論文所述。該研究包括客觀和主觀測試。
圖6.BBC發現HEVC（HM）和AV1的碼率大致相同，VVC（JEM）明顯優於兩者
在高清分辨率下，BBC發現AV1的效率僅比HEVC高7％，VVC比HEVC效率高33％。在UltraHD分辨率下，AV1僅比HEVC好2％，而VVC則高出27％。對於那些關心壓縮效率的人來說，BBC既是AOMedia的成員，又是MPEG LA HEVC專利池的許可成員。
在將這些調查結果與Facebook進行比較時，（請注意BBC在這裏使用參考編碼器進行VVC和HEVC測試，這些編碼器中的每一個組件都會被調動），我們發現此編碼時間對於商業用途而言還是太長。此外，BBC所使用的是標準測試片段以強調不同測試之間的可比性；實質上，沒有人會將用於測試編碼器的標準測試片段用於商業生產領域的編碼，沒有消費者會看到這些剪輯。相比之下，Facebook的測試則是使用實際商業生產當中的編碼器分析了其平臺上最受歡迎的100個測試片段，這兩個測試完全不同。
在許可方面，可以假設VVC的貢獻者包括HEVC和H.264池中的許多相同公司。爲了幫助避免HEVC遇到的問題，一些公司組成了媒體編碼行業論壇（MC-IF）。正如新聞稿中所述，“MC-IF最初將專注於建立VVC和相關標準並將其打造成廣受歡迎和廣泛使用的標準以造福消費者和行業。”一個關鍵目標是“爲論壇提供交流平臺，並鼓勵其討論與促進目標實現和與部署使用這些標準下的知識產權許可相關的問題。“雖然值得稱讚，但MC-IF並非執法機構，因此該組織的影響仍有待觀察。
由專利代理人決定的未來？
在很大程度上，編解碼器的未來將由AV1的免版稅狀態決定，AOMedia可以通過證明成員公司真正通過AV1或通過根據需要進行許可技術的革新來確保其安全。請記住，谷歌在2013年使用後一種策略 ——停止由MPEGLA組建VP8專利池。或者也許AOMedia可以獲得對AV1 知識產權的足夠控制，以便實現公平合理的AV1版稅分發。
如果不是這樣，很可能許多與H.264、HEVC和VVC相同的知識產權擁有者擁有AV1使用的技術。這表明了一個真正的反烏托邦未來，其中知識產權的所有者試圖在AV1、VVC和未來的編解碼器上強加類似HEVC的業務術語。他們已經吸取了教訓，但是在HEVC發佈後的6年4個月零4天，他們似乎並沒有。
LiveVideoStackCon 2019深圳講師招募
12月13-14日，LiveVideoStackCon首次來到深圳，將全球前沿多媒體技術實踐與深圳本地產業結合，觸發技術與商業靈感。歡迎將你的技術實踐、踩坑與填坑經歷、技術與商業創業的思考分享出來。請將個人資料和話題信息郵件到 [email protected] 或點擊【閱讀原文】瞭解成爲LiveVideoStackCon講師的權益與義務，我們會在48小時內回覆。
LiveVideoStack 秋季招聘
LiveVideoStack正在招募編輯/記者/運營，與全球頂尖多媒體技術專家和LiveVideoStack年輕的夥伴一起，推動多媒體技術生態發展。同時，也歡迎你利用業餘時間、遠程參與內容生產。瞭解崗位信息請在BOSS直聘上搜索“LiveVideoStack”，或通過微信“Tony_Bao_”與主編包研交流。