Google Lyra Android版開源 支持3kbps語音聊天


正文字數:1577 閱讀時長:3分鐘

Google Lyra Android版本今日開源,是否還會引發爭議?


 最新消息:Google於今日發佈了Lyra音頻編解碼器Android開源版本。


據悉,開源發佈的Lyra代碼是用C++編寫的,以提高速度、效率和互操作性,使用了帶有Abseil的Bazel構建框架和GoogleTest框架進行全面的單元測試。


前不久,Google推出的Lyra音頻編解碼器——是一種用於語音壓縮的新型超低比特率編解碼器。其在於能給在每秒3kb的網絡寬帶爲用戶提供自然清晰的語音聊天,還可在僅90ms延遲的情況下在從高端雲服務器到中端智能手機的任何設備上運行。(有關Lyra的詳細介紹請瀏覽:在3kbps的帶寬下還能清晰地語音聊天?

 

對此,我們查閱了Google的官方Lyra推送文章,瀏覽了文中所載的相同視頻分別在原版、Opus@6kbps和Lyra@3kbps帶寬下的音頻質量對比(如下所示)。通過瀏覽對比,可以明確感知到Lyra在3kbps帶寬情況下,雖然比特率降低爲Opus的一半,但其音頻的輸出質量卻優於Opus。我們着實被Lyra的音頻輸出質量所驚豔。以下分別是原版參考 - Opus@6kbps - Lyra@3kbps 視頻中的語音對比:

 

原版參考視頻


Opus@6kbps


Lyra@3kbps

 

因此我們聯繫到了負責Lyra音頻編解碼器研發工作的產品經理Jamieson Brettle以及主管工程師Jan Skoglund進行了一次郵件採訪。雖然僅是一次簡短的採訪,但是從字裏行間中可以看出谷歌團隊對Lyra音頻編解碼器的音頻生成質量充滿了信心。

 

以下內容由LiveVideoStack與Jamieson和Jan的採訪整理而成。

 

Q 、Lyra是如何做到在比特率低到3kbps的情況下,依然能輸出高質量的語音?

首先,Lyra的目的並不是傳輸語音信號本身,而是提取少量的關鍵特徵,使得模型可以利用這些特徵來合成語音。這些特徵可以被高度壓縮,但不會失去產生高質量語音的能力。

 

Lyra是用於產生語音信號的,當輸入信號中存在語音時,該模型可以很好地進行語音再生

 

Q 、 Lyra爲什麼以3kbps爲節點?

其實,我們的目標是在傳輸語音時儘可能地少用數據,並且即使在最惡劣的網絡條件下也能進行實時通信。我們也都知道雖然Opus能以6kbps這麼低的速率滿足在2G網絡上進行通信,但是其音頻質量卻下降了。

 

而我們對Lyra進行了調整,使其能夠在一半的數據(3kbps)下工作,同時在這個非常低的比特率下可以提供比Opus更高的音頻質量,並且能夠運行在我們的目標設備上。

 

Q 、 Lyra目前的應用範圍與具體的應用場景有哪些?

目前,我們專注於確保即使在最糟糕的網絡狀況下Lyra也能讓用戶進行高質量的端對端語音通話。

 

Q 、 Lyra的下一步計劃是什麼?

Lyra的下一步計劃是爲Android開發一個開源的編解碼器,並且我們將開始關注更多的操作系統和硬件目標。我們相信,我們所做的研究作爲下一代音頻編解碼器的基石,可以應用於比實時語音更多的用例。

 

由此可以看出,Lyra的目標是幫助那些所處網絡狀態惡劣,2G網絡或有線撥號連接的用戶提供高質量的語音通話,以滿足用戶對語音通話的最基本需求。除此之外,據悉Google團隊還提出Lyra與AV1相結合,將比VP9的編碼效率提高了約40%,並且用戶可以通過56kbps的撥號調制解調器連接到互聯網實現視頻聊天。

 

但是有媒體也對此提出了質疑:AV1與Lyra的組合對於使用2G網絡的手機用戶來說是行不通的,因爲這類手機無法支持AV1所需的處理。

 

對此,Google Lyra項目的相關負責人也有迴應:Lyra並不要求用戶使用的一定是5G智能手機,只是需要有一定計算能力的智能手機。在很多發展中國家市場,我們注意到,這幾年即使是中低端手機的計算力也在快速提升。

 

另外,負責人還提到:在很多歐美市場即使是服務商無限制的數據計劃,用戶通常每個月只有1GB或2GB的高速數據,之後的網絡速度一般會降到64kbps-128kbps, Lyra和AV1對這些用戶也會有非常有價值。

 

對此,僅個人認爲:有爭議也好,有質疑也罷。對於一個新產品來說都需要經歷時間與實踐的打磨和積累,用戶的使用反饋,才能不斷提升。所以不要急,現在Lyra開源只是剛剛開始,我們還會持續關注。



關於Lyra開源詳情:

https://opensource.googleblog.com/2021/04/lyra-enabling-voice-calls-for-next-billion-users.html?m=1


Lyra開源代碼:https://github.com/google/lyra



LiveVideoStackCon 2021 上海站
時間: 2021年4月16日-4月17日

我們準備好全新的內容,在上海歡迎您的到來

點擊【閱讀原文】瞭解更多詳情

本文分享自微信公衆號 - LiveVideoStack(livevideostack)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章