【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )

安卓直播推流專欄博客總結

---

Android RTMP 直播推流技術專欄 :

0 . 資源和源碼地址 :

• 資源下載地址 : 資源下載地址 , 服務器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
• GitHub 源碼地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;

• 【Android RTMP】RTMP 直播推流服務器搭建 ( Ubuntu 18.04.4 虛擬機 )

2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :

• 【Android RTMP】RTMPDumb 源碼導入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構建腳本 )

• 【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導入函數庫 )

3. 講解 RTMP 數據包封裝格式 :

• 【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標籤 Tag 分析 | 視頻標籤 Tag 數據分析 )

• 【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )

4. 圖像數據採集 : 從 Camera 攝像頭中採集 NV21 格式的圖像數據 , 並預覽該數據 ;

• 【Android RTMP】Android Camera 視頻數據採集預覽 ( 視頻採集相關概念 | 攝像頭預覽參數設置 | 攝像頭預覽數據回調接口 )

• 【Android RTMP】Android Camera 視頻數據採集預覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉 I420 算法 )

• 【Android RTMP】Android Camera 視頻數據採集預覽 ( 圖像傳感器方向設置 | Camera 使用流程 | 動態權限申請 )

5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :

• 【Android RTMP】x264 編碼器初始化及設置 ( 獲取 x264 編碼參數 | 編碼規格 | 碼率 | 幀率 | B幀個數 | 關鍵幀間隔 | 關鍵幀解碼數據 SPS PPS )

• 【Android RTMP】x264 圖像數據編碼 ( Camera 圖像數據採集 | NV21 圖像數據傳到 Native 處理 | JNI 傳輸字節數組 | 局部引用變量處理 | 線程互斥 )

• 【Android RTMP】x264 圖像數據編碼 ( NV21 格式中的 YUV 數據排列 | Y 灰度數據拷貝 | U 色彩值數據拷貝 | V 飽和度數據拷貝 | 圖像編碼操作 )

6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 封裝 SPS / PPS 數據包 )

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 關鍵幀數據格式 | 非關鍵幀數據格式 | x264 編碼後的數據處理 | 封裝 H.264 視頻數據幀 )

• 【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創建推流器 | 初始化操作 | 設置推流地址 | 啓用寫出 | 連接 RTMP 服務器 | 發送 RTMP 數據包 )

7. 階段總結 : 阿里雲服務器中搭建 RTMP 服務器 , 並使用電腦軟件推流和觀看直播內容 ;

• 【Android RTMP】RTMP 直播推流 ( 阿里雲服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )

• 【Android RTMP】RTMP 直播推流階段總結 ( 服務器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務器狀態查看 )

8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :

• 【Android RTMP】NV21 圖像旋轉處理 ( 問題描述 | 圖像順時針旋轉 90 度方案 | YUV 圖像旋轉細節 | 手機屏幕旋轉方向 )

• 【Android RTMP】NV21 圖像旋轉處理 ( 圖像旋轉算法 | 後置攝像頭順時針旋轉 90 度 | 前置攝像頭順時針旋轉 90 度 )

9. 下面這篇博客比較重要 , 裏面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;

• 【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 後置攝像頭圖像旋轉效果展示 )

10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :

• 【Android RTMP】音頻數據採集編碼 ( 音頻數據採集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )

• 【Android RTMP】音頻數據採集編碼 ( FAAC 頭文件與靜態庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻採樣 PCM 格式 )

11. 解析 AAC 音頻格式 :

• 【Android RTMP】音頻數據採集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標籤解析 | AAC 音頻數據標籤頭 | 音頻解碼配置信息 )

12 . 將麥克風採集的 PCM 音頻採樣編碼成 AAC 格式音頻 , 並封裝到 RTMP 包中 , 推流到客戶端 :

• 【Android RTMP】音頻數據採集編碼 ( FAAC 音頻編碼參數設置 | FAAC 編碼器創建 | 獲取編碼器參數 | 設置 AAC 編碼規格 | 設置編碼器輸入輸出參數 )

• 【Android RTMP】音頻數據採集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )

• 【Android RTMP】音頻數據採集編碼 ( FAAC 編碼器編碼 AAC 音頻採樣數據 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )

---

Android 直播推流流程 : 手機採集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最後將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;

上一篇博客 【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標籤 Tag 分析 | 視頻標籤 Tag 數據分析 ) 中 , 分析了 FLV 視頻格式中的文件頭 , 標籤 , 其中標籤分爲視頻數據標籤 , 和音頻數據標籤 ;

之後選擇了一個 $57$ 字節大小的視頻數據標籤進行分析 , 該視頻數據標籤標籤頭 $11$ 字節 , 剩餘 $46$ 字節是視頻標籤數據 , 從標籤頭中只能知道該 $46$ 字節數據是視頻數據 , 具體是什麼數據 , 需要看該數據的第 $1$ 個字節的 前四位 ( 幀類型 ) , 後四位 ( 幀編碼類型 ) 的幀類型值 , 和 AVC 視頻數據包第一字節的類型標誌 ;

一、 視頻標籤內的視頻數據格式

---

視頻標籤中的數據位由兩部分組成 , 幀類型 和 AVC 視頻數據包 , 藍色部分是標籤頭 , 紅色部分是標籤數據 ;

0x00000182 : 09 00 00 2E 00 00 00 00
0x0000018a : 00 00 00 17 00 00 00 00
0x00000192 : 01 64 00 32 FF E1 00 19
0x0000019a : 67 64 00 32 AC D9 80 78
0x000001a2 : 02 27 E5 84 00 00 03 00
0x000001aa : 04 00 00 1F 40 3C 60 C6
0x000001b2 : 68 01 00 05 68 E9 7B 2C
0x000001ba : 8B 00 00 00 39

下面解析標籤數據格式 ;

1 . 幀類型數據 : 第一部分只有 $1$ 字節 , 索引區間 $[0]$ , 該字節需要拆分成 前四位 和 後四位 , 進行解析 ;

① 前四位 : 表示幀類型 , 1 表示關鍵幀 , 2 表示普通幀 ;

② 後四位 : 表示視頻編碼類型 , 7 表示 AVC 視頻編碼 , 一般該值就是 7 ;

③ 以 0x17 爲例 : 前四位是 1 , 表示該數據是關鍵幀數據 ; 後四位是 7 , 表示該數據的編碼時 AVC 視頻編碼 ;

2 . AVC 視頻數據包 ( AVCVEDIOPACKET ) 數據 :

① 數據類型 : $1$ 字節 , 索引區間 $[1]$ , 值爲 00 表示數據類型爲 AVC 序列頭 ( 下面有詳細說明該類型數據的作用 ) , 值爲 01 表示數據是其它單元 ;

② 合成時間 : $3$ 字節 , 索引區間 $[2,4]$ , AVC 數據類型時 , 這三個字節都爲 00 , 即 00 00 00 ;

③ 數據信息 : $n$ 字節 , 索引區間 $[5, 4+n]$ , 數據位 , 不同的幀類型 , 數據類型 , 其數據類型也不同 ;

3 . AVC 序列頭簡介 :

① 作用 : AVC 序列頭的作用是指導接收端如何解碼後續的音視頻數據 ;

② 解碼規則 : 將視頻數據包交給播放器 , 播放器需要根據一定的規則進行解碼 ;

③ 解碼參數 : 將視頻數據解碼出指定的 YUV 或 RGB 圖像數據 , 播放器解碼 , 需要知道視頻的寬度 , 高度 , 等參數信息 ;

④ 封裝參數信息 : 這部分信息就是封裝在該 AVC 視頻數據包 ( AVCVEDIOPACKET ) 序列頭信息中 ;

二、 視頻標籤數據解析 ( 引入 AVC 序列頭 )

---

1 . 視頻標籤數據 :

① 視頻標籤中的視頻數據 : 一共有 $57$ 字節 ;

0x00000182	:   09 00 00 2E 00 00 00 00 
0x0000018a	:   00 00 00 17 00 00 00 00 
0x00000192	:   01 64 00 32 FF E1 00 19 
0x0000019a	:   67 64 00 32 AC D9 80 78 
0x000001a2	:   02 27 E5 84 00 00 03 00 
0x000001aa	:   04 00 00 1F 40 3C 60 C6 
0x000001b2	:   68 01 00 05 68 E9 7B 2C 
0x000001ba	:   8B 00 00 00 39

② 視頻標籤頭中的數據 : 標籤頭有 $11$ 字節 ;

0x00000182	:   09 00 00 2E 00 00 00 00 
0x0000018a	:   00 00 00

③ 視頻標籤數據 : 視頻數據有 $46$ 字節 ;

                         17 00 00 00 00 
0x00000192	:   01 64 00 32 FF E1 00 19 
0x0000019a	:   67 64 00 32 AC D9 80 78 
0x000001a2	:   02 27 E5 84 00 00 03 00 
0x000001aa	:   04 00 00 1F 40 3C 60 C6 
0x000001b2	:   68 01 00 05 68 E9 7B 2C 
0x000001ba	:   8B 00 00 00 39

④ 視頻標籤數據圖示 : 下圖紅框內的數據是 視頻標籤 中的視頻數據 ;

⑤ AVC 視頻數據包 ( AVCVEDIOPACKET ) :

                            00 00 00 00 
0x00000192	:   01 64 00 32 FF E1 00 19 
0x0000019a	:   67 64 00 32 AC D9 80 78 
0x000001a2	:   02 27 E5 84 00 00 03 00 
0x000001aa	:   04 00 00 1F 40 3C 60 C6 
0x000001b2	:   68 01 00 05 68 E9 7B 2C 
0x000001ba	:   8B 00 00 00 39

2 . 解析 AVC 序列頭數據 :

① 幀類型數據 : $[0]$ 視頻數據描述 , 值爲 17 ;

• 高 $4$ 位值爲 1 , 表示這是關鍵幀 ;

• 低 $4$ 位值爲 7 , 表示 AVC 視頻編碼 ;

後面的數據表示 AVC 視頻數據包 ( AVCVEDIOPACKET ) , 繼續分析後面的數據 ;

② AVC 數據類型 : $[1]$ 表示類型 , 值爲 00 , 表示後續數據是 AVC 序列頭 ;

③ 合成時間 : $[2,4]$ 表示合成時間 , 00 00 00 , 表示時間 , 一般都是 00 ;

④ AVC 數據位 : $[5, n]$ 數據位 , 數據的內容需要根據 $[1]$ 的類型來封裝 , 數據位中的數據是 AVC 序列頭數據 ;

3 . 關於 AVC 數據位說明 :

① 序列頭數據 : 如果 $[1]$ 的值是 00 表示該數據類型是 AVC 序列頭數據 , 那麼該數據位的值是 AVC 序列頭數據 ;

② 幀數據 : 如果 $[1]$ 的值是 01 , 那麼表示該數據的類型是 I幀 / B 幀 / P 幀 等其它單元數據 , 數據位就是對應的幀數據 ;

三、 AVC 序列頭格式解析

---

1 . 視頻標籤中的數據位由兩部分組成 , 幀類型 和 AVC 視頻數據包 , 藍色部分是標籤頭 , 綠色部分是幀類型數據 , 紫色部分是 AVC 數據類型 , 橙色部分是合成時間 , 紅色部分是 AVC 序列頭數據 ;

0x00000182 : 09 00 00 2E 00 00 00 00
0x0000018a : 00 00 00 17 00 00 00 00
0x00000192 : 01 64 00 32 FF E1 00 19
0x0000019a : 67 64 00 32 AC D9 80 78
0x000001a2 : 02 27 E5 84 00 00 03 00
0x000001aa : 04 00 00 1F 40 3C 60 C6
0x000001b2 : 68 01 00 05 68 E9 7B 2C
0x000001ba : 8B 00 00 00 39

2 . 下面解析 AVC 序列頭格式 :

0x00000192	:   01 64 00 32 FF E1 00 19 
0x0000019a	:   67 64 00 32 AC D9 80 78 
0x000001a2	:   02 27 E5 84 00 00 03 00 
0x000001aa	:   04 00 00 1F 40 3C 60 C6 
0x000001b2	:   68 01 00 05 68 E9 7B 2C 
0x000001ba	:   8B 00 00 00 39

3 . AVC 序列頭數據解析 : 下面的值都是 十六進制 , 省略 0x ;

① 版本信息 : $1$ 字節 , 索引區間 $[0]$ ; 值爲 01 ;

② 編碼規格 : $3$ 字節 , 索引區間 $[1,3]$ , 數據來自 sps[1] , sps[2] , sps[3] 這三個字節的數據 , SPS 與 PPS 是指導播放器解碼的數據 , 知道這兩個數據 , 播放器就可以知道後續如何解碼 ; 這裏的值是 64 00 32 ;

③ NALU 長度 : $1$ 字節 , 索引區間 $[4]$ , 一般是 FF , 需要經過計算才能獲得包長度 ;

④ SPS 個數 : $1$ 字節 , 索引區間 $[5]$ , 其取值 E1 , 個數需要經過計算 , 0xE1 & 0x1F = 1 , 個數爲 1 ;

⑤ SPS 長度 : $2$ 字節 , 索引區間 $[6,7]$ , 取值 00 19 , 對應十進制的 25 個字節 ;

⑥ SPS 數據 : 下面的 25 個字節就是 SPS 數據 ;

                67 64 00 32 AC D9 80 78 
0x000001a2	:   02 27 E5 84 00 00 03 00 
0x000001aa	:   04 00 00 1F 40 3C 60 C6 
0x000001b2	:   68

⑦ PPS 個數 : $1$ 字節 , 這裏是 01 ;

⑧ PPS 長度 : $2$ 字節 , 這裏是 00 05 ;

⑨ PPS 數據 : 下面是對應的 5 個 PPS 數據 ;

                            68 E9 7B 2C 
0x000001ba	:   8B

⑩ 整個標籤長度 : 00 00 00 39 表示整個標籤的長度 , 十進制爲 57 ;