音視頻技術開發週刊 | 224

每週一期，縱覽音視頻技術領域的乾貨。

新聞投稿：[email protected]。

高性能且靈活的 iOS 視頻剪輯與特效開源框架 – VideoLab

隨着移動互聯網時代的到來，短視頻成爲了最流行的內容載體，而內容的產生離不開視頻剪輯與特效創作工具。本次LiveVideoStackCon 2021 音視頻技術大會 北京站，我們邀請到了RingCentral Video 移動端架構師——阮景雄，他向我們分享了AVFoundation視頻剪輯框架，以及VideoLab框架的設計與實現。

挑戰與機遇並存，阿里雲面向下一代的音視頻引擎和傳輸網絡架構

阿里雲下一代音視頻引擎的設計和落地，將從微內核架構的設計、媒體引擎的構建、算法的插件化管理，新引擎在覈心指標上的優勢等方面入手。在LiveVideoStackCon 2021北京峯會，阿里雲智能視頻雲高級技術專家陳虓將，講述了阿里雲在包大小、內存、CPU，以及直播、會議、點播一體化SDK對人效的提升實踐，同時從阿里雲服務端GRTN網絡的整體架構和核心技術點出發，透傳了阿里雲視頻雲團隊最新的算法創新思考。

視頻編碼器的智能化——AI輔助編解碼的ASIC解決方案

在此次LiveVideoStackCon 2021 音視頻技術大會 北京站，來自鎔銘半導體的劉迅思詳細列舉了目前常用的AI輔助編解碼的方法，論述如何在硬件和軟件層面將AI結合編解碼的實踐，探索新的標準和新一代編碼器結合AI應該如何設計。

華爲雲媒體質量管理最新實踐——“視鏡”

對全球不可靠的互聯網絡和大容量分佈式系統的挑戰，如何以用戶爲中心，從可用變得更好用，追求更流暢、更清晰、更快、更省的極致用戶音視頻體驗？LiveVideoStacCon 2021 北京站邀請到華爲雲媒體服務資深研發專家——康永紅，爲大家分享華爲雲媒體服務在追求極致用戶體驗質量道路上的沉澱成果——“視鏡”。

優化 Dav1D

本次演講介紹了 AV1 的軟件解碼器 dav1d 的一些優化進展，關於特定編碼工具的解碼優化、HDR/10bit 內容的優化、更好的多線程優化。最後，在 Q&A 中提到，軟件解碼器基本上是啓動生態系統，希望一年或兩年後，我們都將使用硬件解碼器。

淺析 MediaCodec 工作原理
MediaCodec類Android提供的用於訪問低層多媒體編/解碼器接口，它是Android低層多媒體架構的一部分，通常與MediaExtractor、MediaMuxer、AudioTrack結合使用，能夠編解碼諸如H.264、H.265、AAC、3gp等常見的音視頻格式。

MediaCodec編碼OpenGL速度和清晰度均衡
在安卓平臺爲了實現h264視頻編碼，我們通常可以使用libx264, ffmpeg等第三方視頻編碼庫，但是如果對編碼的速度有一定的要求，要實現實時甚至超實時的高速視頻編碼，我們並沒有太多選項，只能使用Android提供的MediaCodec硬編碼模塊。MediaCodec模塊在實際使用中會遇到很多問題，本文主要討論使用MediaCodec來對OpenGL渲染的畫面進行編碼視頻時，如何達到速度快和畫面清晰的均衡。

WebRTC 系列之 GPU 方案的探索與落地

WebRTC（Web Real-Time Communication）是一個支持網頁瀏覽器進行實時語音對話或視頻對話的 API。W3C 和 IETF 在2021年1月26日共同宣佈 WebRTC 1.0 定稿，促使 WebRTC 從事實上的互聯網通信標準成爲了官方標準，其在不同場景的應用將得到更爲廣泛的普及。WebRTC 提供了視頻會議的核心技術，包括音視頻的採集、編解碼、網絡傳輸、顯示等功能，並且還支持跨平臺：Windows，Mac，iOS，Android。本文主要介紹基於 WebRTC 的基礎搭建視頻前後處理框架，探索 GPU 方案與 RTC 場景的結合落地。

蘋果AR眼鏡密器疑曝光！索尼VR頭顯雙眼8K超高清，元宇宙「伴侶」震撼出場

日前，索尼在一場「科技日」活動中展示了一款搭載單眼4K Micro-OLED顯示屏的VR頭顯原型。帶上這款頭顯，可以看到絲滑而且超高清的畫面。據索尼研發人員在Youtube視頻中介紹，此次亮相的VR原型頭戴設備使用遠程高分辨率技術和低延時傳輸系統，實現現實與感官間的「無縫」視頻體驗。另外，據蘋果分析師郭明錤透露，蘋果計劃2022年Q4發佈旗下首款AR頭顯設備，搭載Sony索尼的4K Micro OLED顯示屏。根據預測，蘋果的AR頭戴設備將具備「Mac 級計算能力」、不受限制的操作的能力，支持廣泛的應用程序，而非僅支持專有應用。

計算機視覺中的傳統特徵提取方法總結

本文對計算機視覺傳統方法中的一些特徵提取方法進行了總結，主要包括有：SIFT(尺度不變特徵變換)、HOG(方向梯度直方圖)、SURF、ORB、LBP、HAAR

通過傳感器計算打造視覺雷達，下一代自動駕駛系統的關鍵構成

2021年10月25日，特斯拉市值站上萬億美金，成爲美股第五家市值破萬億的企業，幾乎超過美股全部主要車企市值的總和。特斯拉在資本市場的成功，刺激着投資者的神經，也促使市場再一次將視野聚焦在自動駕駛領域，進一步思考自動駕駛技術路線的發展方向。本文希望從技術角度客觀分析和回答以下問題：自動駕駛等級提升需要解決什麼關鍵問題？怎樣的自動駕駛方案更加具有實現大規模無人駕駛的可能性？自動駕駛作爲現實世界的AI問題，難點在哪裏？以上問題促使我們理性客觀地思考該如何去實現自動駕駛——這一承載了太多期望、不斷挑撥大衆神經的技術生產力變革，從而推動行業冷靜且務實地向前發展。

---

閱讀推薦

音視頻的發展

本次演講中，Andrew 借用了經濟學上的康德拉季耶夫長波模型，回顧了專業視聽行業的發展過程。AIMS (Alliance for IP Media Solutions) 是一個開放的、非營利性的組織，致力於促進採用一套通用的、無處不在的、基於標準的協議，以實現媒體、娛樂和專業視聽 (pro AV) 行業的 IP 互操作性。

從遊戲機、計算機、智能手機的過去五十年 看VR和AR的未來五十年
本篇文章作者從元宇宙入手，揭示了元宇宙與AR/VR之間的關係，認爲元宇宙其實就是AR和VR的硬件發展，然後用戶通過這些硬件使用的軟件得到的體驗就是元宇宙。作者認爲我們所進入的新的50年會是一個三維世界，這是我top-down（自上而下）對這件事的理解，是50年對50年的事情。因此先從遊戲機、計算機、智能手機的過去五十年講起，再來看VR和AR的未來五十年將會如何發展。

【報告】元宇宙系列白皮書——未來已來：全球XR產業洞察
Metaverse元宇宙創造了一個用戶與家人、朋友、寵物、喜愛的物品和體驗都被虛擬連接的全新環境，是下一代社交世界的載體。Metaverse包含5G、AI、區塊鏈、內容製作等多種元素，其核心是通過虛擬體驗XR（Extended Reality，擴展現實），XR技術及設備的持續迭代來不斷優化用戶的數字化生活體驗；基於 XR的數字化服務將圍繞各類場景不斷滲透，將爲顛覆性沉浸式的元宇宙數字生活體驗帶來突破，成爲開啓元宇宙時代的重要載體。德勤中國科技、傳媒和電信行業推出元宇宙系列報告的第一篇《元宇宙系列白皮書—未來已來：全球XR產業洞察》，聚焦XR產業發展趨勢，從市場需求與發展的角度探討XR市場的投資潛力與投資機會。

---

活動推薦

【城市沙龍】LiveVideoStack Meet|上海：流媒體無處不在

上海一直是國內音視頻領域領跑城市之一，良好的發展環境給多媒體人才提供了優質平臺和展示機會。2021年已進入倒計時，在多方共同努力下，我們將在12月18日落地上海，也感謝聲網提供場地支持。除老朋友外，本次LiveVideoStack Meet上海也邀請到新面孔與大家見面，分享內容乾貨滿滿，不容錯過！

活動時間：12月18日 14:00-17:15

活動地址：上海市楊浦區淞滬路333號 創智天地3期12號樓6樓

報名地址：https://8392623630544.huodongxing.com/event/4626493248800

---

插圖源自Pexels

本文分享自微信公衆號 - LiveVideoStack（livevideostack）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。