【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 關鍵幀數據格式 | 非關鍵幀數據格式 | x264 編碼後的數據處理 | 封裝 H.264 視頻數據幀 )

原創 韩曙亮 2020-06-24 03:40

文章目錄





安卓直播推流專欄博客總結


Android RTMP 直播推流技術專欄 :


0 . 資源和源碼地址 :


1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;

2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :

3. 講解 RTMP 數據包封裝格式 :

4. 圖像數據採集 : 從 Camera 攝像頭中採集 NV21 格式的圖像數據 , 並預覽該數據 ;

5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :

6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :

7. 階段總結 : 阿里雲服務器中搭建 RTMP 服務器 , 並使用電腦軟件推流和觀看直播內容 ;

8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :

9. 下面這篇博客比較重要 , 裏面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;

10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :

11. 解析 AAC 音頻格式 :

12 . 將麥克風採集的 PCM 音頻採樣編碼成 AAC 格式音頻 , 並封裝到 RTMP 包中 , 推流到客戶端 :





Android 直播推流流程 : 手機採集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最後將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;


Android 端中主要完成手機端採集視頻數據操作 , 並將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉爲 H.264 格式的視頻 , 最後將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;


本篇博客中介紹如下內容 , Java 層將 Camera 採集的 NV21 格式的數據傳入 JNI 層 , 在 JNI 中使用 x264 編碼器將 NV21 圖像數據編碼爲 H.264 視頻數據 ;


本篇博客中主要封裝 H.264 視頻幀數據 , 將 幀類型 , 數據包類型 , 合成時間 , 數據長度 , 真實的 H.264 視頻幀數據 , 封裝到 RTMP 包中 ;





一、 x264 編碼後的 H.264 數據幀


1 . x264 編碼操作 : 調用 x264 庫的 x264_encoder_encode 方法 , 將圖像數據編碼成 H.264 數據幀後 ;


① 編碼後的數據 : 編碼後的 H.264 數據保存在 pp_nal[i].p_payload 中 ;

② 編碼後的數據長度 : 編碼的 H.264 數據長度爲 pp_nal[i].i_payload ;



2 . 數據間隔 :


① 數據間隔分類 : pp_nal[i].p_payload 數據時編碼後的數據, 前四位默認是 00 00 00 01 , 或 00 00 01 ;

② 數據間隔處理 : 這個數據間隔在封裝 RTMPPacket 數據包時 , 是不需要的 , 這些數據需要剔除 ;

③ 剔除數據間隔方法 : 首先計算數據時 , 要將數據大小 pp_nal[i].i_payload 減去間隔長度 , 另外數據取值時 , 需要越過 3 / 4 位數據間隔再取值 ;

// 4 字節分隔符是 x264 編碼後生成的 H.264 數據中的數據, 這裏需要剔除該數據
spsLen = pp_nal[i].i_payload - 4;
// 拷貝 H.264 數據時, 需要越過 4 字節 間隔數據
memcpy(sps, pp_nal[i].p_payload + 4, spsLen);




二、 RTMP 協議中 關鍵幀 / 非關鍵幀 數據格式 說明


1 . RTMP 協議中 H.264 數據幀格式 :


① 幀類型 : 1 字節, 關鍵幀 17, 非關鍵幀 27 ;

② 包類型 : 1 字節, 1 表示數據幀 ( 關鍵幀 / 非關鍵幀 ), 0 表示 AVC 序列頭數據 ;

③ 合成時間 : 3 字節, 一般情況下設置 00 00 00 ;

④ 數據長度 : 4 字節, 即真實的數據幀畫面的數據大小 ;



2 . 計算出數據幀的個數 : 上述 幀類型 , 包類型 , 合成時間 , 數據長度 , 總共有 9 字節 , 再加上實際的 H.264 數據幀長度 , 即最終打包的 RTMPPacket 數據幀大小 ;

int rtmpPackagesize = 9 + payload;




三、 判定 H.264 幀數據分隔符


1 . 不同數據幀的分隔符描述 :


① AVC 序列頭 : 如果是 SPS PPS 數據幀 , 可以判定分隔符就是 00 00 00 01 四字節 ;

② H.264 視頻幀 : 對於視頻數據幀 , 不確定當前的 H.264 數據的分隔符是 00 00 00 01 還是 00 00 01 , 需要開發者進行判定 ;



2 . 判定方法 : 根據 第 2 位 的值判定 ;


① 四位分隔符判定 : 如果 第 2 位 值爲 01, 說明分隔符是 00 00 01 ;

② 三位分隔符判定 : 如果 第 2 位 值爲 00, 說明分隔符是 00 00 00 01 ;



3 . 分割符處理方法 :


① 數據大小處理 : 數據大小計算時 , 減去分隔符長度 , 3 或 4 ;

② 數據指針處理 : 數據取出時 , 跳過你分隔符數據 ;



4 . 分隔符處理代碼 :

    // 判定分隔符是 00 00 00 01 還是 00 00 01
    // 根據 第 2 位 的值判定
    // 如果 第 2 位 值爲 01, 說明分隔符是 00 00 01
    // 如果 第 2 位 值爲 00, 說明分隔符是 00 00 00 01
    if (p_payload[2] == 0x00){
        // 識別出分隔符是 00 00 00 01
        // 要將 x264 編碼出的數據個數減去 4, 只統計實際的數據幀個數
        payload -= 4;
        // 從 x264 編碼後的數據向外拿數據時, 越過開始的 00 00 00 01 數據
        p_payload += 4;
    } else if(p_payload[2] == 0x01){
        // 識別出分隔符是 00 00 01
        // 要將 x264 編碼出的數據個數減去 3, 只統計實際的數據幀個數
        payload -= 3;
        // 從 x264 編碼後的數據向外拿數據時, 越過開始的 00 00 01 數據
        p_payload += 3;
    }




四、 初始化 RTMPPacket


調用 RTMPPacket_Alloc 方法 , 爲 RTMP 數據包分配內存 , 之後調用 RTMPPacket_Reset 方法重置 RTMP 數據包 ;

    // 爲 RTMP 數據包分配內存
    RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);
    // 重置 RTMP 數據包
    RTMPPacket_Reset(rtmpPacket);




五、 設置包頭數據


包頭數據設置 :


① 幀類型設置 : 如果是關鍵幀 , 設置 17 , 如果是非關鍵幀 , 設置 27 ; 這裏需要判斷該 H.264 視頻幀是關鍵幀還是非關鍵幀 ;

② 包類型設置 : 01 是數據幀, 00 是 AVC 序列頭封裝 SPS PPS 數據 ;

③ 合成時間戳 : 默認設置 00 00 00 ;

④ 設置數據長度 : 位運算計算 4 字節中每一位的值 , 然後給四個字節數據賦值 ;

    // 設置幀類型, 非關鍵幀類型 27, 關鍵幀類型 17
    rtmpPacket->m_body[0] = 0x27;
    if (type == NAL_SLICE_IDR) {
        rtmpPacket->m_body[0] = 0x17;
    }

    // 設置包類型, 01 是數據幀, 00 是 AVC 序列頭封裝 SPS PPS 數據
    rtmpPacket->m_body[1] = 0x01;
    // 合成時間戳, AVC 數據直接賦值 00 00 00
    rtmpPacket->m_body[2] = 0x00;
    rtmpPacket->m_body[3] = 0x00;
    rtmpPacket->m_body[4] = 0x00;

    // 數據長度, 需要使用 4 位表示
    rtmpPacket->m_body[5] = (payload >> 24) & 0xFF;
    rtmpPacket->m_body[6] = (payload >> 16) & 0xFF;
    rtmpPacket->m_body[7] = (payload >> 8) & 0xFF;
    rtmpPacket->m_body[8] = (payload) & 0xFF;




六、 設置 H.264 數據幀數據


將 H.264 數據幀數據拷貝到 rtmpPacket->m_body[9] 對應的地址中 , 前面存放了 9 字節的包頭數據 , 這裏直接從索引 9 位置開始存放 H.264 視頻幀數據 ;

    // H.264 數據幀數據
    memcpy(&rtmpPacket->m_body[9], p_payload, payload);




七、 設置其它數據


設置 RTMP 包類型 , RTMP 包長度 , RTMP 通道 , 時間戳 等信息 ;

    // 設置 RTMP 包類型, 視頻類型數據
    rtmpPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;
    // 設置 RTMP 包長度
    rtmpPacket->m_nBodySize = rtmpPackagesize;
    // 分配 RTMP 通道, 隨意分配
    rtmpPacket->m_nChannel = 10;
    // 設置絕對時間, 對於 SPS PPS 賦值 0 即可
    rtmpPacket->m_hasAbsTimestamp = 0;
    // 設置頭類型, 隨意設置一個
    rtmpPacket->m_headerType = RTMP_PACKET_SIZE_MEDIUM;




八、 RTMPDump 封裝視頻幀數據代碼示例


/**
 * 封裝視頻幀 , 關鍵幀 和 非關鍵幀
 * @param type  視頻幀類型
 * @param payload   視頻幀大小
 * @param p_payload 視頻幀數據
 */
void VedioChannel::sendFrameToRtmpServer(int type, int payload, uint8_t *p_payload) {
    // 判定分隔符是 00 00 00 01 還是 00 00 01
    // 根據 第 2 位 的值判定
    // 如果 第 2 位 值爲 01, 說明分隔符是 00 00 01
    // 如果 第 2 位 值爲 00, 說明分隔符是 00 00 00 01
    if (p_payload[2] == 0x00){
        // 識別出分隔符是 00 00 00 01
        // 要將 x264 編碼出的數據個數減去 4, 只統計實際的數據幀個數
        payload -= 4;
        // 從 x264 編碼後的數據向外拿數據時, 越過開始的 00 00 00 01 數據
        p_payload += 4;
    } else if(p_payload[2] == 0x01){
        // 識別出分隔符是 00 00 01
        // 要將 x264 編碼出的數據個數減去 3, 只統計實際的數據幀個數
        payload -= 3;
        // 從 x264 編碼後的數據向外拿數據時, 越過開始的 00 00 01 數據
        p_payload += 3;
    }

    // 創建 RTMP 數據包
    RTMPPacket *rtmpPacket = new RTMPPacket;

    /*
        計算 RTMP 數據包大小

        幀類型 : 1 字節, 關鍵幀 17, 非關鍵幀 27
        包類型 : 1 字節, 1 表示數據幀 ( 關鍵幀 / 非關鍵幀 ), 0 表示 AVC 序列頭
        合成時間 : 3 字節, 設置 00 00 00
        數據長度 : 4 字節, 賦值 payload 代表的數據長度

     */
    int rtmpPackagesize = 9 + payload;

    // 爲 RTMP 數據包分配內存
    RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);
    // 重置 RTMP 數據包
    RTMPPacket_Reset(rtmpPacket);

    // 設置幀類型, 非關鍵幀類型 27, 關鍵幀類型 17
    rtmpPacket->m_body[0] = 0x27;
    if (type == NAL_SLICE_IDR) {
        rtmpPacket->m_body[0] = 0x17;
    }

    // 設置包類型, 01 是數據幀, 00 是 AVC 序列頭封裝 SPS PPS 數據
    rtmpPacket->m_body[1] = 0x01;
    // 合成時間戳, AVC 數據直接賦值 00 00 00
    rtmpPacket->m_body[2] = 0x00;
    rtmpPacket->m_body[3] = 0x00;
    rtmpPacket->m_body[4] = 0x00;

    // 數據長度, 需要使用 4 位表示
    rtmpPacket->m_body[5] = (payload >> 24) & 0xFF;
    rtmpPacket->m_body[6] = (payload >> 16) & 0xFF;
    rtmpPacket->m_body[7] = (payload >> 8) & 0xFF;
    rtmpPacket->m_body[8] = (payload) & 0xFF;

    // H.264 數據幀數據
    memcpy(&rtmpPacket->m_body[9], p_payload, payload);

    // 設置 RTMP 包類型, 視頻類型數據
    rtmpPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;
    // 設置 RTMP 包長度
    rtmpPacket->m_nBodySize = rtmpPackagesize;
    // 分配 RTMP 通道, 隨意分配
    rtmpPacket->m_nChannel = 10;
    // 設置絕對時間, 對於 SPS PPS 賦值 0 即可
    rtmpPacket->m_hasAbsTimestamp = 0;
    // 設置頭類型, 隨意設置一個
    rtmpPacket->m_headerType = RTMP_PACKET_SIZE_MEDIUM;

    // 調用回調接口, 將該封裝好的 RTMPPacket 數據包放入 native-lib 類中的 線程安全隊列中
    // 這是個 RTMPPacketPackUpCallBack 類型的函數指針
    rtmpPacketPackUpCallBack(rtmpPacket);
}
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Android筆記02-真機調式

1、手機打開開發者，並且usb連接電腦 2、打開sdk manager，安裝google usb driver 3、打開設備管理器，更新驅動程序，驅動程序目錄E:\android_sdk\extras\google\usb_driver

原創 2023-10-31 09:11:15

完美解決 Android 滑動衝突！

處理自定義 View 中的滑動衝突 對於大多數 Android 開發來說，處理滑動衝突好像很難，但實戰一下又發現，好像也挺簡單，因爲這個實際上是有套路可循的。基本就兩種方案：外部攔截法 && 內部攔截法。 2.1 外部攔截法 所謂外部攔截法

原創 2023-10-10 02:19:38

Android C++系列：Linux線程（一）概念

{"type":"doc","content":[{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"1. 什麼是線程",

轻口味 2021-12-08 11:33:58

Android無障礙體驗與開發

有着不同無障礙需求的用戶看到或者聽到的Android應用界面也是一種完全不同的交互體驗，使用Google開源的“無障礙體驗”項目來從用戶的視角親身體驗無障礙適配對用戶體驗的影響。在本次專題演講中，你也可以瞭解Google最新發布在Andro

王莹 2021-11-26 09:58:53

Android Studio 的更新

在本次專題演講中，將介紹 Android Studio 的一些新開發工具和功能的最新動態及其演示版，還會示範如何在您的應用開發流程中集成這些工具。 直達 Google 開發者在線課程，收穫 Android 技術乾貨 https://deve

王莹 2021-11-25 10:58:57

拒絕卡頓，揭祕盒馬鮮生 APP Android 短視頻秒播優化方案

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"image"

阿里巴巴移动技术 2021-11-24 10:23:56

Android 遊戲開發和結算服務的新特性

Android 遊戲開發工具包 (AGDK) 是一套工具和應用組件，可幫助您開發、優化和發佈優質的 Android 遊戲。 Google Play 結算系統是一項可讓您在 Android 應用中銷售數字產品和內容的服務。 在本次專題演講中，

王莹 2021-11-24 09:58:54

Android TV 與 Google TV 的新特性

在本次專題演講中，我們將向開發者介紹Android TV以及Google TV的新功能和用戶體驗。 直達 Google 開發者在線課程，收穫 Android 技術乾貨 https://developers.google.cn/learn/p

王莹 2021-11-24 09:53:53

Android 12L-針對大屏設備的新特性

Android 大屏設備及摺疊屏設備越來越受到用戶的青睞。在本次專題演講中，我們會向大家介紹 Android 平臺新增的對於大屏應用開發的支持，包括新的 API 和開發庫，以及更新的開發人員指南。 直達 Google 開發者在線課程，收穫

王莹 2021-11-24 09:53:53

Android C++系列：Linux文件IO操作(一)

{"type":"doc","content":[{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"1.1 C標準函數與

轻口味 2021-11-23 18:23:51

Android C++系列：JNI調用時的異常處理

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

轻口味 2021-11-19 10:03:53

2021 Google 開發者大會一覽，同步Android、TensorFlow、Web開發等最新動態

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

罗燕珊 2021-11-16 19:33:53

Jetpack Compose 佈局詳情

Jetpack Compose 提供了全新的佈局模型，可用於構建美觀流暢的界面。在此講座中，我們將深入介紹佈局模型及其功能和底層工作原理；並詳細說明捆綁式佈局和修飾符的構建方式，以及如何輕鬆創建自定義佈局和修飾符。本講座有助於您理解 Com

谷歌 2021-11-16 15:33:49

Google開發者大會

2021 年 Google 開發者大會以“Develop as One”爲主題，共享 Google 前沿產品資訊與技術趨勢洞見，攜手開發者和合作夥伴激活潛能，共創機遇，共謀發展。

王莹 2021-11-16 12:13:51

爲 Android 12 做好準備

Android 12 是今年剛剛發佈的 Android 新系統版本，它對操作系統的各個方面都做出了很多改進，包括用戶體驗、性能、和隱私。而伴隨着這些改進，也必然會在現有 API 或系統界面方面發生一些行爲變更。 在本次專題演講中，我們會介紹

王莹 2021-11-16 12:13:51