1、前言
這是由一篇我的演講稿整理出來的文章，目標讀者是對實時音視頻開發感興趣但是又不知道如何下手的初學者們，希望把我的經驗分享出來，對大家有所幫助。
學習交流：
- 即時通訊開發交流3羣：185926912[推薦]
- 移動端IM開發入門文章：《新手入門一篇就夠：從零開發移動端IM》
（本文同步發佈於：http://www.52im.net/thread-1620-1-1.html）
2、關於“我”
盧俊：七牛雲直播客戶端團隊技術負責人。擁有豐富的音視頻領域的開發和實戰經驗，先後開發過Android播放SDK /推流SDK，短視頻SDK，並主導了七牛連麥系統的設計和實現。服務過上百家直播客戶，包括熊貓、全民、龍珠、汽車之家、懂球帝等。
3、相關文章
《學習RFC3550：RTP/RTCP實時傳輸協議基礎知識》
《基於RTMP數據傳輸協議的實時流媒體技術研究（論文全文）》
《理論聯繫實際：實現一個簡單地基於HTML5的實時視頻直播》
《實時視頻直播客戶端技術盤點：Native、HTML5、WebRTC、微信小程序》
4、成長的煩惱
經常收到一些網友的來信或者留言，反饋如下這樣的困惑：
“我是一名應屆畢業生，該如何快速地成長起來” “我只懂 C/C++，是學 Android 開發有前途，還是 iOS 開發有前途？” “我是一名 Android/iOS 開發，已經可以獨立完成一個完整的 App 開發上線，該如何繼續提升？” “我想從事音視頻開發，該如何入門？ 如何進階 ？”
很高興看到大家有這樣的問題，因爲這也從側面反映了你是一個積極向上，想不斷努力來提升自己的人。
我就先從一個簡單的問題聊起，“到底 Android 開發有前途還是 iOS 開發有前途？”
其實這個問題跟 “PHP 是不是世界上最好的語言一樣”，只會引發爭論，卻沒有什麼實際價值，在我看來，無論是 Windows、Linux、Android 還是 iOS 開發，都沒有什麼優劣之分。
它們其實都有着很多的共同點，那就是：
- 1）都是基於操作系統提供的 API 完成特定需求的實現
- 當然，也有些不同的地方，比如：
- 2）系統的 API 和特性不同
- 3）編程語言不同，Windows/Linux 以 C/C++ 爲主，Android 以 Java 爲主，iOS 以 Object C 爲主等等。
但無論什麼平臺，他們的學習曲線其實是類似的，都要經歷差不多如下的環節：
- 1）學習對應平臺的編程語言，如：C/C++，Java，Object C，Javascript 等；
- 2）熟悉對應平臺提供的 API，如：UI 庫，網絡，文件，數據庫， 圖片處理，多媒體處理 等等；
- 3）掌握平臺相關的特性、框架和原理，如：Windows 的 WINSOCK，ODBC，WPF 等，Unix 的設計哲學，Android 的四大組件，iOS 的 MVC 模式等等；
- 4）通過具體的項目，熟悉和練手，達到可完成任意功能的開發。
當你已經走到第 4 步了後，往往就會感覺遇到了瓶頸，產生如文章開頭的問題，下一步何去何從 ？
其實我一直有一個觀點，就是：
“基於平臺的 API 做應用開發，並不是一個可以走得多遠的方向，真正有價值的地方在於與具體的業務方向結合”。
具體點說，比如：
- 1）網絡安全；
- 2）音視頻；
- 3）智能硬件；
- 4）深度學習；
- 5）大數據；
- 6）其他（比如：金融、通信等）。
在具體的業務領域，你可以慢慢沉澱下來，用自己的努力和時間換來對領域知識的深入理解和積累，逐漸從一個開發小白走向最懂這個行業的專家。
今天呢，我就主要跟大家分享下，如果你對實時音視頻這個領域感興趣，應該如何入門和提高 ？
5、實時音視頻開發包括哪些技術內容
雖然一篇文章無法把音視頻開發的知識點都介紹清楚，但是大概的學習路線還是可以梳理一下的，我們先看看下面這張圖：
其實說白了，音視頻開發，就是要掌握圖像、音頻、視頻的基礎知識，並且學會如何對它們進行採集、渲染、處理、傳輸等一系列的開發和應用。
具體的技術內容如下：
- 採集：它解決的是，數據從哪裏來的問題；
- 渲染：它解決的是，數據怎麼展現的問題；
- 處理：它解決的是，數據怎麼加工的問題；
- 傳輸：它解決的是，數據怎麼共享的問題。
每一個門類，都可以深挖，衍生出一個又一個充滿技術挑戰的話題，比如：如何更高效地渲染畫面、如何提高音視頻的壓縮比，如何優化弱網下的音視頻數據傳輸等等。
其實，音視頻開發的技術積累，也沒有那麼難，帶着問題去 Google，帶着任務去實踐，一切都不是問題，我們就從上面說的 4 個方向，逐個探索一下，有哪些知識點，是要我們去了解和掌握的。
不管怎麼說，實時音視頻開發方面的理論基礎是必須要有所瞭解的，比如以下系列文章：
- 《即時通訊音視頻開發（一）：視頻編解碼之理論概述》
- 《即時通訊音視頻開發（二）：視頻編解碼之數字視頻介紹》
- 《即時通訊音視頻開發（三）：視頻編解碼之編碼基礎》
- 《即時通訊音視頻開發（四）：視頻編解碼之預測技術介紹》
- 《即時通訊音視頻開發（五）：認識主流視頻編碼技術H.264》
- 《即時通訊音視頻開發（六）：如何開始音頻編解碼技術的學習》
- 《即時通訊音視頻開發（七）：音頻基礎及編碼原理入門》
- 《即時通訊音視頻開發（八）：常見的實時語音通訊編碼標準》
- 《即時通訊音視頻開發（九）：實時語音通訊的迴音及迴音消除概述》
- 《即時通訊音視頻開發（十）：實時語音通訊的迴音消除技術詳解》
- 《即時通訊音視頻開發（十一）：實時語音通訊丟包補償技術詳解》
- 《即時通訊音視頻開發（十二）：多人實時音視頻聊天架構探討》
- 《即時通訊音視頻開發（十三）：實時視頻編碼H.264的特點與優勢》
- 《即時通訊音視頻開發（十四）：實時音視頻數據傳輸協議介紹》
- 《即時通訊音視頻開發（十五）：聊聊P2P與實時音視頻的應用情況》
- 《即時通訊音視頻開發（十六）：移動端實時音視頻開發的幾個建議》
- 《即時通訊音視頻開發（十七）：視頻編碼H.264、VP8的前世今生》
另外，《移動端實時音視頻直播技術詳解》這個系列文章能很好地對應上我剛說的這些技術點，建議讀一讀：
- 《移動端實時音視頻直播技術詳解（一）：開篇》
- 《移動端實時音視頻直播技術詳解（二）：採集》
- 《移動端實時音視頻直播技術詳解（三）：處理》
- 《移動端實時音視頻直播技術詳解（四）：編碼和封裝》
- 《移動端實時音視頻直播技術詳解（五）：推流和傳輸》
- 《移動端實時音視頻直播技術詳解（六）：延遲優化》
我們分別具體來看看採集、渲染、處理、傳輸等技術點。
6、具體技術點之採集
採集，它解決的是，數據從哪裏來的問題，那麼，數據究竟從哪裏來的呢 ？
其實無論在哪個平臺，圖像、視頻最初都是來自攝像頭，而音頻最初都是來自麥克風，因此，做音視頻採集，就要掌握如下的技術知識。
1）系統的攝像頭採集接口是什麼，怎麼用 ？
比如：
Windows：DirectShow
Linux：V4L2
Android：Camera
iOS：AVCaptureSession
2）系統的攝像頭採集的參數怎麼配置，都是什麼含義 ？
比如：分辨率、幀率、預覽方向、對焦、閃光燈 等。
3）系統的攝像頭輸出的圖像/視頻數據，是什麼格式，不同格式有什麼區別 ？
比如：圖片：JPEG，視頻數據：NV21，NV12，I420 等
4）系統的麥克風採集接口是什麼，怎麼用 ？
比如：
Windows：DirectShow
Linux：ALSA & OSS
Android：AudioRecord
iOS：Audio Unit
5）系統的麥克風採集參數怎麼配置，都是什麼含義 ？
比如：採樣率，通道號，位寬 等
6）系統的麥克風輸出的音頻數據，是什麼格式？
比如：PCM
7、具體技術點之渲染
渲染，它解決的是，數據怎麼展現的問題，那麼，數據究竟怎麼展現呢 ？
其實無論在哪個平臺，圖像、視頻最終都是要繪製到視圖上面，而音頻最終都是要輸出到揚聲器，因此，做音視頻渲染，就要掌握如下的技術知識。
1）系統提供了哪些 API 可以繪製一張圖片或者一幀 YUV 圖像數據的 ？
比如：
Windows：DirectDraw, Direct3D, GDI，OpenGL 等
Linux： GDI， OpenGL 等
Android：ImageView，SurfaceView，TextureView，OpenGL 等
iOS： CoreGraphics，OpenGL 等
2）系統提供了哪些 API 可以播放一個 mp3 或者 pcm 數據 ？
比如：
Windows：DirectSound 等
Linux：ALSA & OSS 等
Android：AudioTrack 等
iOS： AudioQueue 等
8、具體技術點之處理
處理，它解決的是，數據怎麼加工的問題，那麼，數據究竟可以怎麼加工呢 ？
首先，我們看看圖像/音視頻的數據可以做哪些加工 ？
其實無論在哪個平臺，圖像和音視頻的加工，除了系統的 API，大多數都會依賴一些跨平臺的第三方庫的，通過掌握這些第三方庫的原理和使用方法，基本上就可以滿足日常音視頻處理工作了。
這些庫包括但不限於：
- 1）圖像處理：OpenGL，OpenCV，libyuv，ffmpeg 等；
- 2）視頻編解碼：x264，OpenH264，ffmpeg 等；
- 3）音頻處理：speexdsp，ffmpeg 等；
- 4）音頻編解碼：libfaac，opus，speex，ffmpeg 等。
因此，學習和掌握這些第三方庫的使用，非常有必要。（以上這些第3方庫的詳細介紹和盤點，詳見《福利貼：最全實時音視頻開發要用到的開源工程彙總》）
9、具體技術點之傳輸
傳輸，它解決的是，數據怎麼共享的問題，那麼，數據究竟怎麼共享呢 ？
共享，最重要的一點，就是協議。
我覺得互聯網之所以能夠如此蓬勃地發展，將整個世界都緊密聯繫在一起，其實是離不開 W3C 這個委員會的巨大貢獻的，因爲無論什麼數據，要想在不同的國家、不同設備之間互聯互通，離不開 “標準”，有了 “標準”，大家就能互相讀懂對方。
因此，研究音視頻傳輸，其實就是在研究協議，具體有哪些協議呢 ？
- 1）音視頻在傳輸前，怎麼打包的，如：FLV，ts，mpeg4 等；
- 2）直播推流，有哪些常見的協議，如：RTMP，RSTP 等；
- 3）直播拉流，有哪些常見的協議，如：RTMP，HLS，HDL，RTSP 等；
- 4）基於 UDP 的協議有哪些？如：RTP/RTCP，QUIC 等。
互聯網環境下的音視頻的傳輸，是一個非常有挑戰和價值的方向，爲了解決弱網下的傳輸延時、卡頓，提高用戶體驗，整個業界都在不斷地進行着深入的探索和優化。
有關移動弱網的特性和討論是個很大話題，如有興趣可以先讀讀以下幾篇文章：
- 《現代移動端網絡短連接的優化手段總結：請求速度、弱網適應、安全保障》
- 《移動端IM開發者必讀(一)：通俗易懂，理解移動網絡的“弱”和“慢”》
- 《移動端IM開發者必讀(二)：史上最全移動弱網絡優化方法總結》
10、本文小結
限於篇幅原因，我的經驗分享就到這裏了，實時音視頻開發的路很長，更多的還是要靠自己去學習和實踐，帶着追求極致的精神去探索和優化，最終，我相信大家都能快速成長，成爲真正的行業專家！
附錄：更多實時音視頻技術資料彙總
[1] 實時音視頻開發的其它精華資料：
《實時語音聊天中的音頻處理與編碼壓縮技術簡述》
《網易視頻雲技術分享：音頻處理與壓縮技術快速入門》
《學習RFC3550：RTP/RTCP實時傳輸協議基礎知識》
《基於RTMP數據傳輸協議的實時流媒體技術研究（論文全文）》
《聲網架構師談實時音視頻雲的實現難點(視頻採訪)》
《淺談開發實時視頻直播平臺的技術要點》
《還在靠“喂喂喂”測試實時語音通話質量？本文教你科學的評測方法！》
《實現延遲低於500毫秒的1080P實時音視頻直播的實踐分享》
《移動端實時視頻直播技術實踐：如何做到實時秒開、流暢不卡》
《如何用最簡單的方法測試你的實時音視頻方案》
《技術揭祕：支持百萬級粉絲互動的Facebook實時視頻直播》
《簡述實時音視頻聊天中端到端加密（E2EE）的工作原理》
《理論聯繫實際：實現一個簡單地基於HTML5的實時視頻直播》
《IM實時音視頻聊天時的回聲消除技術詳解》
《淺談實時音視頻直播中直接影響用戶體驗的幾項關鍵技術指標》
《如何優化傳輸機制來實現實時音視頻的超低延遲？》
《首次披露：快手是如何做到百萬觀衆同場看直播仍能秒開且不卡頓的？》
《Android直播入門實踐：動手搭建一套簡單的直播系統》
《網易雲信實時視頻直播在TCP數據傳輸層的一些優化思路》
《實時音視頻聊天技術分享：面向不可靠網絡的抗丟包編解碼器》
《P2P技術如何將實時視頻直播帶寬降低75%？》
《專訪微信視頻技術負責人：微信實時視頻聊天技術的演進》
《騰訊音視頻實驗室：使用AI黑科技實現超低碼率的高清實時視頻聊天》
《微信團隊分享：微信每日億次實時音視頻聊天背後的技術解密》
《近期大熱的實時直播答題系統的實現思路與技術難點分享》
《福利貼：最全實時音視頻開發要用到的開源工程彙總》
《七牛雲技術分享：使用QUIC協議實現實時視頻直播0卡頓！》
《實時音視頻聊天中超低延遲架構的思考與技術實踐》
《理解實時音視頻聊天中的延時問題一篇就夠》
《實時視頻直播客戶端技術盤點：Native、HTML5、WebRTC、微信小程序》
>> 更多同類文章 ……
[2] 開源實時音視頻技術WebRTC的文章：
《開源實時音視頻技術WebRTC的現狀》
《簡述開源實時音視頻技術WebRTC的優缺點》
《訪談WebRTC標準之父：WebRTC的過去、現在和未來》
《良心分享：WebRTC 零基礎開發者教程（中文）[附件下載]》
《WebRTC實時音視頻技術的整體架構介紹》
《新手入門：到底什麼是WebRTC服務器，以及它是如何聯接通話的？》
《WebRTC實時音視頻技術基礎：基本架構和協議棧》
《淺談開發實時視頻直播平臺的技術要點》
《[觀點] WebRTC應該選擇H.264視頻編碼的四大理由》
《基於開源WebRTC開發實時音視頻靠譜嗎？第3方SDK有哪些？》
《開源實時音視頻技術WebRTC中RTP/RTCP數據傳輸協議的應用》
《簡述實時音視頻聊天中端到端加密（E2EE）的工作原理》
《實時通信RTC技術棧之：視頻編解碼》
《開源實時音視頻技術WebRTC在Windows下的簡明編譯教程》
《網頁端實時音視頻技術WebRTC：看起來很美，但離生產應用還有多少坑要填？》