RTC 月度小報 5 月 | WebRTC M83、SOLO 源碼解讀、實時美聲……

本月亮點速覽

RTC開發者社區:

  • CSDN專訪RTC編程大賽獲獎者

  • 如何高效實現PSTN/SIP接入實時音視頻網絡

  • 在線教育的創新模式及AI應用實踐

開源與技術科普:

  • WebRTC M83 Release

  • 開源音頻編解碼器SOLO源碼解讀(二)

  • 科普動畫:網絡協議那點事兒

  • 實時美聲背後的技術原理

聲網動態:

  • Agora Unreal SDK beta版上線

  • 聲網助力Kumu實現玩法創新

RTC開發者社區

CSDN 專訪 RTC 編程大賽獲獎選手

 

由聲網 Agora 舉辦的 RTC 2020編程挑戰賽春季賽在 4 月底正式結束。這次的比賽吸引了來自 70+高校及開發團隊的 300+名開發者的報名參賽,他們組成了 100+隊伍,其中有 18 支入圍決賽,最終 9 個團隊獲獎。

就在近期,技術社區 CSDN 對其中他們最感興趣的兩個團隊——Syncit 和竹辯的三位 90 後、00 後進行了採訪。我們也從中瞭解到了他們身爲開發者以外的一面,航拍高手、吉他十級高手、6500+Star 開源項目作者。想了解關於他們更多的故事,可以閱讀今天的另一篇推送。

這次包括獲獎作品在內,所有入圍決賽的項目,都已在 Github 開源:

 https://github.com/AgoraIO-Community/RTC-Hackathon

我們後續還將邀請參賽團隊們線上分享他們的開發實踐,敬請關注「聲網Agora開發者」微信公衆號。同時,我們將在 7 月開啓秋季賽,會有更具挑戰性的賽題與更豐厚的獎勵,敬請期待。

如何高效實現PSTN/SIP接入實時音視頻網絡

在本月的 Agora Talk 直播課,我們請到了來自啓智的高級開發工程師王良,他擁有 12 年企業通訊服務從業經驗,對 SIP 協議、WebRTC 協議、FreeSWITCH 系統、高併發通訊集羣框架有非常深入的瞭解和實踐。主導開發公司的大規模 SIP 音視頻集羣通信系統,該系統當前支撐 4 萬併發實時 SIP 語音呼叫能力。

他在這期 Agora Talk 中爲我們分享瞭如何高效實現 PSTN/SIP 接入實時音視頻網絡的經驗。大家可以掃碼觀看回放。

在線教育的創新模式及AI的應用實踐

在線教育成爲現在保障學生學業的重要途徑。在這一期 Agora Talk 直播課,我們邀請到了學點雲創始人蔣利兵,他從事音視頻通信及在線教育行業超過15年。他曾任華爲 WeLink 視頻會議負責人,此前在新浪負責視頻聊天室產品視頻 CODEC 算法優化,對視頻直播、在線教育有深刻理解。服務過的客戶包括達內教育、四中網校、VIPKID、一起作業、說客英語等衆多在線教育頭部機構。

他爲我們分享了在線教育直播的教學模式創新,以及 AI 在教育場景中的應用。大家可以掃碼觀看回放。

開源與技術科普


 WebRTC M83 Release

WebRTC M83, 其中包含10多項新功能和35多項錯誤修復,增強功能以及穩定性/性能改進,包括Insertable Streams、RTCPeerConnection.canTrickleIceCandidates,以及對 ice-ufrag 和 ice-pwd 語法的新限制等特性和改進。更多詳情,請查詢 Google 官方論壇。

開源音頻編解碼器 SOLO 源碼解讀(二)

聲網 Agora 在 2019 年 10 月 24 日,正式對所有開發者開源自研的抗丟包音頻編解碼器 SOLO。該編解碼器適用於所有需要實時音頻交互的場景,特別針對弱網對抗進行了優化,並且在相同弱網環境下 MOS 分優於 Opus。SOLO 可應用於各類 RTC 應用,並且可不與 Agora SDK 綁定。

上一期 SOLO 源碼解析分析了 SOLO 的帶寬擴展系統,本期 SOLO 源碼解析將會介紹一下 SOLO 的窄帶編碼流程。因爲 SOLO 的編碼框架是基於 Silk 修改而成,所以本文對於 Silk 原生代碼的介紹會比較簡略。點擊這裏可以瀏覽第二篇源碼解讀

SOLO 源碼:https://github.com/AgoraIO-Community/Solo

技術科普:網絡協議那點事兒

看過我們前兩期視頻的小夥伴應該都瞭解了互聯網的發展簡史,以及直播網課背後的技術原理但不論是最初的互聯網,還是現在的直播、視頻通話,設備之間的網絡連接、數據傳輸都是建立在一系列網絡協議之上的。所以,這一期,我們簡單講講其中幾個最常見的網絡協議,以及他們之間的區別。

實時美聲背後的技術原理

在歌唱場景、語聊等場景中,用戶已經不在滿足於被聽見、被聽清、能互動,以及擁有高清的音質體驗。他們有了更進一步的需求,希望不僅能有最佳的音質,還想要讓自己的聲音變得更動聽、更有磁性。

就像我們看高清視頻、高清照時,第一感受是震撼,所有細節都能看清了,但皮膚的紋理、瑕疵也會暴露出來。所以會增加紅潤、磨皮、美顏等,讓自己更好看。同樣道理,高音質場景下,會使用高採樣率(44.1kHz - 48kHz)的軟件驅動採集,然後使用音頻損傷較小的前處理算法(降噪、回聲消除、自動增益等)對信號進行處理,並使用保真性能較好的 Codec 進行編碼,使得遠端接收到的音頻達到高保真效果。這樣一來聲音細節會更豐富,也更接近真實的聽感。但是,聲音中的瑕疵也變得更加明顯,所以我們需要爲聲音“加了一層裸妝”,讓聲音更動聽、完美,又不失本色。這就是RTC 場景下的實時美聲功能。

不過你知道什麼纔是一般人認爲的“好聽的聲音”?如何將這些好聲音數據化?又怎樣通過算法來“製造”好聲音?設計算法時應該注意哪些問題?點擊這裏,閱讀關於實時美聲的技術科普

聲網動態

Agora Unreal SDK Beta 版上線

Epic 公佈了他們爲次時代遊戲準備的 Unreal 5 遊戲引擎,以及一份效果驚豔的 Demo。據稱,遊戲中的每個資源有一百萬個繪製三角面,每一幀有超過十億個繪製三角面。也就是說,開發者構建的遊戲場景,能獲得電影特效場景般的視覺體驗。

事實上,聲網也有許多采用 Unreal 的開發者。爲了能讓開發者可以在遊戲中快速實現實時音視頻對話,聲網 Agora Unreal SDK Beta 版也已上線

由於 Unreal 爲開發者提供了兩種開發方式,一種是 Blueprint,即可視化編程,另一種是基於 C++開發。所以 Agora Unreal SDK 也提供了兩個版本—— Blueprint 和 C++,兩個版本均已上傳至 Agora Community 的 Github :

Blueprint版本:https://github.com/AgoraIO-Community/Agora-Unreal-SDK-Blueprint

C++版本:https://github.com/AgoraIO-Community/Agora-Unreal-SDK-CPP

聲網助力Kumu實現多種直播玩法創新

一直以來,東南亞直播市場主要由中國出海企業主導,比如BIGO LIVE、MICO等頭部玩家,而菲律賓本土直播 App Kumu 的成長將有可能打破這一局面,在東南亞市場的競爭中佔據一席之地。據白鯨出海報道,近期,Kumu不僅獲得近500萬美元的A輪融資,用戶日均使用時長也在趕超頭部玩家BIGO LIVE。Similar Web數據顯示 ,Kumu 2020年Q1在菲律賓市場的用戶日均使用時長近1小時,已接近BIGO LIVE 的2倍。

擁有這麼高的用戶粘性,一方面是受到新冠肺炎疫情的影響,大量用戶居家隔離,促使社交直播、遊戲類應用成爲海外線上實時互動的主流場景。作爲Kumu背後的實時音視頻技術服務商,聲網Agora透露,2020年新冠肺炎疫情期間,Kumu在聲網的實時音視頻用量增長了3.5倍;而另一方面,Kumu自身豐富多樣的直播玩法,纔是其能夠長時間留住用戶的關鍵因素。

多種直播模式,提升內容豐富性

Kumu是一個集才藝直播、電商直播、直播答題、朋友圈以及聊天室於一體的App。

從2018年9月開始,依託於聲網Agora實時音視頻技術的支持,Kumu先後上線了視頻直播、連麥直播、直播答題(HQ)、語音直播、電商直播、直播PK等多種場景功能。 

值得一提的是,隨着電商直播在國內的日益火爆,Kumu作爲一款東南亞本土直播app,也率先涉足電商直播這一熱門場景,並於2019年10月上線電商直播玩法,這背後的實時音視頻技術同樣由聲網提供服務支持。

聲網目前已上線完整的互動直播電商解決方案,既能實現傳統電商直播,也可實現互動電商直播場景,企業和開發者可快速複用,並基於靈活的接口組合,實現主播與用戶、與嘉賓連麥以及帶貨主播PK連麥等更多玩法。小於800ms的超低延時爲電商直播場景創造了更多的可能性,主播可以實時接收用戶的信息、反饋,提升直播間互動及時性和積極性,增加轉化率。

目前,Gravy.Live、Bulbul.tv、Kumu 等海外一線電商社交平臺已經完成了聲網互動直播電商解決方案的部署上線,同時還有更多知名電商平臺正在集成中。

Kumu相關業務負責人稱,使用聲網的實時音視頻服務,在保障直播質量穩定、可靠的前提下,還大大降低了公司在技術開發上的時間成本、人力成本以及帶寬的使用成本,提升效率。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章