1 設計WebRTC的目的
WebRTC（Web Real-Time Communication）項目的最終目的主要是讓Web開發者能夠基於瀏覽器（Chrome\FireFox…）輕易快捷開發出豐富的實時多媒體應用，而無需下載安裝任何插件，Web開發者也無需關注多媒體的數字信號處理過程，只需編寫簡單的Javascript程序即可實現。W3C等組織正在制定Javascript標準API，目前是WebRTC 1.0版本（2019年10月24日），Draft狀態，網址：http://w3c.github.io/webrtc-pc/。
另外WebRTC還希望能夠建立一個多互聯網瀏覽器間健壯的實時通信的平臺，形成開發者與瀏覽器廠商良好的生態環境。同時，Google也希望和致力於讓WebRTC的技術成爲HTML5標準之一，可見Google佈局之深遠。
2 WebRTC架構圖
圖2.1 WebRTC架構圖
架構圖顏色標識說明：
（1）紫色部分是Web開發者API層；
（2）藍色實線部分是面向瀏覽器廠商的API層（其中本人研究的部分主要在Voice Engine中的一部分）；
（3）藍色虛線部分瀏覽器廠商可以自定義實現。
3 WebRTC架構組件介紹
1.Your Web App
Web開發者開發的程序，Web開發者可以基於集成WebRTC的瀏覽器提供的web API開發基於視頻、音頻的實時通信應用。
2.Web API
面向第三方開發者的WebRTC標準API（Javascript），使開發者能夠容易地開發出類似於網絡視頻聊天的web應用。
3.WebRTC Native C++ API
本地C++ API層，使瀏覽器廠商容易實現WebRTC標準的Web API，抽象地對數字信號過程進行處理。
4.Transport / Session
傳輸/會話層
會話層組件採用了libjingle庫的部分組件實現，無須使用xmpp/jingle協議
（1）RTP Stack協議棧
Real Time Protocol
（2）STUN/ICE
可以通過STUN和ICE組件來建立不同類型網絡間的呼叫連接。
（3）Session Management
一個抽象的會話層，提供會話建立和管理功能。該層協議留給應用開發者自定義實現。
5.VoiceEngine（我的研究核心）
音頻引擎是包含一系列音頻多媒體處理的框架，包括從視頻採集卡到網絡傳輸端等整個解決方案。
（1）iSAC
Internet Speech Audio Codec
針對VoIP和音頻流的寬帶和超寬帶音頻編解碼器，是WebRTC音頻引擎的默認的編解碼器
採樣頻率：16khz，24khz，32khz；（默認爲16khz）
自適應速率爲10kbit/s ~ 52kbit/；
自適應包大小：30~60ms；
算法延時：frame + 3ms
（2）iLBC
Internet Low Bitrate Codec
VoIP音頻流的窄帶語音編解碼器
採樣頻率：8khz；
20ms幀比特率爲15.2kbps
30ms幀比特率爲13.33kbps
標準由IETF RFC3951和RFC3952定義
（3）NetEQ for Voice
針對音頻軟件實現的語音信號處理元件
NetEQ算法：自適應抖動控制算法以及語音包丟失隱藏算法。使其能夠快速且高解析度地適應不斷變化的網絡環境，確保音質優美且緩衝延遲最小。
是GIPS公司獨步天下的技術，能夠有效的處理由於網絡抖動和語音包丟失時候對語音質量產生的影響。
PS：NetEQ 也是WebRTC中一個極具價值的技術，對於提高VoIP質量有明顯效果，加以AEC\NR\AGC等模塊集成使用，效果更好。
（4）Acoustic Echo Canceler (AEC)
回聲消除器是一個基於軟件的信號處理元件，能實時的去除mic採集到的回聲。
（5）Noise Reduction (NR)
噪聲抑制也是一個基於軟件的信號處理元件，用於消除與相關VoIP的某些類型的背景噪聲（嘶嘶聲，風扇噪音等等… …）
6.VideoEngine——WebRTC視頻處理引擎
VideoEngine是包含一系列視頻處理的整體框架，從攝像頭採集視頻到視頻信息網絡傳輸再到視頻顯示整個完整過程的解決方案。
（1）VP8
視頻圖像編解碼器，是WebRTC視頻引擎的默認的編解碼器
VP8適合實時通信應用場景，因爲它主要是針對低延時而設計的編解碼器。
PS:VPx編解碼器是Google收購ON2公司後開源的，VPx現在是WebM項目的一部分，而WebM項目是Google致力於推動的HTML5標準之一
（2）Video Jitter Buffer
視頻抖動緩衝器，可以降低由於視頻抖動和視頻信息包丟失帶來的不良影響。
（3）Image enhancements
圖像質量增強模塊
對網絡攝像頭採集到的圖像進行處理，包括明暗度檢測、顏色增強、降噪處理等功能，用來提升視頻質量。
4 WebRTC核心模塊API
1.網絡傳輸模塊：libjingle
WebRTC重用了libjingle的一些組件，主要是network和transport組件，關於libjingle的文檔資料可以查看這裏。
2.音頻、視頻圖像處理的主要數據結構
常量\VideoEngine\VoiceEngine
_注意：以下所有的方法、類、結構體、枚舉常量等都在webrtc命名空間裏。
表4.1 數據結構列表
| 類、結構體、枚舉常量 | 頭文件 |
|---|---|
| Structures | common_types.h |
| Enumerators | common_types.h |
| Classes | common_types.h |
| class VoiceEngine | voe_base.h |
| class VideoEngine | vie_base.h |
3.音頻引擎（VoiceEngine）模塊APIs
表4.2 音頻引擎（VoiceEngine）模塊APIs
本文轉載自https://blog.csdn.net/temotemo/article/details/7530504，部分內容做修改。