一.學習背景
5G網絡作爲第5代的移動通信網絡,它的網絡峯值傳播速度可1以達到10Gbps/s.這比4G的的傳輸速度快數百倍.舉個例子,整部超高畫質電影下載可在1秒鐘之內下載完成.
當然,隨着5G技術的誕生,用在智能終端分享3D電影,遊戲或者超高畫質節目的時代已經毫無懸念的向我們走來.
想必大家也逐步瞭解,國內外的互聯網公司也已經佈局音視頻,3D技術方面的開發者招聘和相關產品研發.目前落地推廣最普遍的就是直播類項目和小視頻類的項目.當然未來的方向肯定不止如此.
那麼我們現在帶着問題來學習?
- 爲何編碼?
- 何爲編碼?
1.1 爲何編碼?
從存儲角度和網絡傳輸以及通用性 3個角度,壓縮已經成了不可或缺的動作.壓縮編碼最基本的指標,就是壓縮比. 壓縮比通常都是小於1(如果等於或者大於1,是不是就失去了編碼的意義了.編碼的目的就是爲了壓縮數據體量).
1.2 何爲編碼?
編碼就是按照一定的格式記錄採樣和量化後的數據.
1.2.1編碼中軟編碼和硬編碼的區別?
硬編碼: 使用非CPU進行編碼,例如使用GPU芯片處理
軟編碼: 使用CPU來進行編碼計算.
1.2.2 軟編碼與硬編碼的區分?
- 軟編碼: 實現直接、簡單，參數調整方便，升級易，但CPU負載重，性能較硬編碼低，低碼率下質量通常比硬編碼要好一點。
- 硬編碼：性能高，低碼率下通常質量低於硬編碼器，但部分產品在GPU硬件平臺移植了優秀的軟編碼算法（如X264）的，質量基本等同於軟編碼。
讀者理解:
- 硬編碼,就是使用GPU計算,獲取數據結果,優點速度快,效率高.
- 軟編碼,就是通過CPU來計算,獲取數據結果.
1.2.3 壓縮算法
壓縮算法分爲2種,有損壓縮與無損壓縮.
- 無損壓縮:解壓後的數據可以完全復原,在常用的壓縮格式中,無損壓縮使用頻次較低
- 有損壓縮:解壓後數據不能完全復原,會丟失一部分信息.壓縮比越小,丟失的信息就會越多.信號還原的失真就會越大.
需要根據不同的場景(考慮因素包括存儲設備,傳輸網絡環境,播放設備等)選用不同的壓縮編碼算法.
二. 直播APP需求剖析
2.1 直播項目流程
在直播項目中,一般常見有8個步驟.
- 音視頻採集
- 視頻濾鏡
- 音視頻編碼
- 推流
- 流媒體服務器處理
- 拉流
- 音視頻解碼
- 音視頻播放
這個在開發者面試一些有意向或者目前業務中包含直播需求的公司,最爲常見的面試題.不管在我們過往的工作經驗是否有直播或音視頻相關經驗.這個一塊都是你必須能瞭解.希望大家可以簡單的瞭解.
2.2 相關框架的學習與使用場景
- 採集視頻,音頻
- 使用iOS原生框架 AVFoundation.framework
- 視頻濾鏡處理
-
使用iOS原生框架 CoreImage.framework
-
使用第三方框架 GPUImage.framework
CoreImage 與 GPUImage 框架比較:
在實際項目開發中,開發者更加傾向使用於GPUImage框架.
首先它在使用性能上與iOS提供的原生框架,並沒有差別;其次它的使用便利性高於iOS原生框架,最後也是最重要的GPUImage框架是開源的.而大家如果想要學習GPUImage框架,建議學習OpenGL ES,其實GPUImage的封裝和思維都是基於OpenGL ES.
-
視頻\音頻編碼壓縮
-
硬編碼
- 視頻: VideoToolBox框架
- 音頻: AudioToolBox 框架
-
軟編碼
- 視頻: 使用FFmpeg,X264算法把視頻原數據YUV/RGB編碼成H264
- 音頻: 使用fdk_aac 將音頻數據PCM轉換成AAC
-
-
推流
-
推流: 將採集的音頻.視頻數據通過流媒體協議發送到流媒體服務器
-
推流技術
- 流媒體協議: RTMP\RTSP\HLS\FLV
- 視頻封裝格式: TS\FLV
- 音頻封裝格式: Mp3\AAC
-
-
流媒體服務器
- 數據分發
- 截屏
- 實時轉碼
- 內容檢測
-
拉流
- 拉流: 從流媒體服務器中獲取音頻\視頻數據
- 流媒體協議: RTMP\RTSP\HLS\FLV
-
音視頻解碼
- 硬解碼
- 視頻: VideoToolBox框架
- 音頻: AudioToolBox 框架
- 硬解碼
-
軟解碼
- 視頻: 使用FFmpeg,X264算法解碼
- 音頻: 使用fdk_aac 解碼
-
播放
-
ijkplayer 播放框架
-
kxmovie 播放框架
-
ijkplayer,kxmovie 都是基於FFmpeg框架封裝的
轉載鏈接：https://www.jianshu.com/p/3d87fd102d
給大家推薦一個優秀的iOS交流平臺，平臺裏的夥伴們都是非常優秀的iOS開發人員，我們專注於技術的分享與技巧的交流，大家可以在平臺上討論技術，交流學習。歡迎大家的加入（想要進入的可加微信）。 18174412518