【Android RTMP】音頻數據採集編碼 ( FAAC 編碼器編碼 AAC 音頻採樣數據 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )

原創 韩曙亮 2020-06-24 03:40

文章目錄





安卓直播推流專欄博客總結


Android RTMP 直播推流技術專欄 :


0 . 資源和源碼地址 :


1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;

2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :

3. 講解 RTMP 數據包封裝格式 :

4. 圖像數據採集 : 從 Camera 攝像頭中採集 NV21 格式的圖像數據 , 並預覽該數據 ;

5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :

6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :

7. 階段總結 : 阿里雲服務器中搭建 RTMP 服務器 , 並使用電腦軟件推流和觀看直播內容 ;

8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :

9. 下面這篇博客比較重要 , 裏面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;

10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :

11. 解析 AAC 音頻格式 :

12 . 將麥克風採集的 PCM 音頻採樣編碼成 AAC 格式音頻 , 並封裝到 RTMP 包中 , 推流到客戶端 :





Android 直播推流流程 : 手機採集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最後將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;


視頻推流 : 之前的一系列博客中完成手機端採集視頻數據操作 , 並將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉爲 H.264 格式的視頻 , 最後將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;


音頻推流 : 開始進行音頻直播推流操作 , 先採集音頻 , 將音頻編碼爲 AAC 格式 , 將編碼後的音頻打包成 RTMP 包 , 然後推流到服務器中 ;


AAC 音頻解碼信息 : AAC 音頻數據推流前 , 需要將解碼信息推流到服務器 , 否則播放器無法識別該 AAC 音頻數據 , 本篇博客就是講解 FAAC 編碼器編碼生成 AAC 解碼信息 , 並封裝 RTMPPacket 數據包 , 推流到 RTMP 服務器中 ;

上一篇博客 【Android RTMP】音頻數據採集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 ) 講解的是 AAC 解碼信息封裝 ;


AAC 實際音頻採樣數據封裝推流 : AAC 音頻解碼信息推流到服務器之後 , 開始編碼實際的 AAC 音頻採樣數據 , 之後播放器可以根據之前的 AAC 解碼信息解碼後續推流的實際的採樣數據 ;

本篇博客講解 AAC 實際的音頻採樣數據的編碼封裝 ;





一、 FAAC 編碼器編碼 AAC 音頻採樣數據


1 . AAC 音頻採樣數據生成方法 : FAAC 編碼器調用 faacEncEncode 方法 , 生成 AAC 音頻採樣數據 ;


2 . faacEncEncode 方法原型 :

#include <faac.h>

int FAACAPI faacEncEncode(faacEncHandle hEncoder, int32_t * inputBuffer, unsigned int samplesInput,
			 unsigned char *outputBuffer,
			 unsigned int bufferSize);

① 返回值 : 編碼後的數據字節長度

② faacEncHandle hEncoder 參數 : FAAC 編碼器

③ int32_t * inputBuffer 參數 : 需要編碼的 PCM 音頻輸入數據

④ unsigned int samplesInput : 傳入的 PCM 樣本個數

⑤ unsigned char *outputBuffer : 編碼後的 AAC 格式音頻輸出緩衝區

⑥ unsigned int bufferSize : 輸出緩衝區最大字節大小

後兩個參數定義不同級別的指針類型 , 使用方法不同 , 但形式類似 , 都是用指針變量 , 傳入地址作爲參數 , 傳入的指針當做返回值使用 ;


3 . 代碼示例 :

    int encodeAacDataByteCount = faacEncEncode(
            mFaacEncHandle, // FAAC 編碼器
            reinterpret_cast<int32_t *>(data), // 需要編碼的 PCM 音頻輸入數據
            mInputSamples, // 傳入的 PCM 樣本個數
            mFaacEncodeOutputBuffer, // 編碼後的 AAC 格式音頻輸出緩衝區
            mMaxOutputBytes); // 輸出緩衝區最大字節大小




二、 封裝 RTMP 音頻數據頭


1 . 封裝第 11 字節數據 : 第一個字節中封裝了 44 部分數據 , 音頻格式 , 採樣率 , 採樣位數 , 音頻通道 ; 一般情況下是 AE , 或者 AF ;


① AF 含義 : AAC 格式 , 44100 Hz 採樣 , 16 位採樣位數 , 立體聲 ;

② AE 含義 : AAC 格式 , 44100 Hz 採樣 , 16 位採樣位數 , 單聲道 ;


參考博客 【Android RTMP】音頻數據採集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標籤解析 | AAC 音頻數據標籤頭 | 音頻解碼配置信息 ) 、四、 音頻解碼配置信息、 2. 第 11 字節 AF 數據解析 章節 , 有詳細介紹這 88 位各代表的意義 ;


2 . 代碼示例 :

    /*
        根據聲道數生成相應的 文件頭 標識
        AF / AE 頭中的最後一位爲 1 表示立體聲, 爲 0 表示單聲道
        AF 是立體聲
        AE 是單聲道
     */
    rtmpPacket->m_body[0] = 0xAF;   //默認立體聲

    if (mChannelConfig == 1) {
        // 如果是單聲道, 將該值修改成 AE
        rtmpPacket->m_body[0] = 0xAE;
    }




三、 封裝 RTMP 音頻數據類型


AAC 音頻數據類型 : 如果是編碼的音頻採樣數據 , 類型是 01 , 如果是 AAC 解碼信息 , 類型是 00 ; 這裏是 01 類型 , AAC 音頻採樣數據 ;

// 編碼出的聲音 都是 0x01, 本方法是對音頻數據進行編碼的方法, 頭信息肯定是 AF 01 數據
// 數據肯定是 AAC 格式的採樣數據
rtmpPacket->m_body[1] = 0x01;




四、 拷貝 AAC 音頻數據到 RTMPPacket 數據包中


之前調用 faacEncEncode方法 , 生成了 AAC 格式音頻採樣數據 , 將生成的信息封裝到 RTMPPacket 數據包中 , RTMP 數據包的大小是生成 AAC 音頻數據大小 + 2 ; 多出的 2 字節數據是 AF 01 ;

        // 拷貝 AAC 音頻數據到 RTMPPacket 數據包中
        memcpy(&rtmpPacket->m_body[2], mFaacEncodeOutputBuffer, encodeAacDataByteCount);




五、 設置數據包大小


該數據包大小是 2 字節 , 加上 faacEncEncode方法生成 的 AAC 格式音頻採樣數據的大小 ;

2 字節是 AF 01 , 代表該數據是 AAC 音頻數據 ;

        /*
            數據的大小 :
            前面有 2 字節頭信息
            音頻解碼配置信息 : 前兩位是 AF 00 , 指導 AAC 數據如何解碼
            音頻採樣信息 : 前兩位是 AF 01 , 實際的 AAC 音頻採樣數據
         */
        int rtmpPackagesize = 2 + encodeAacDataByteCount;




六、 設置絕對時間、數據類型、RTMP 通道、頭類型


這些數據設置基本都是格式化的 , 按照如下設置即可 ;

    // 設置絕對時間, 一般設置 0 即可
    rtmpPacket->m_hasAbsTimestamp = 0;
    // 設置 RTMP 數據包大小
    rtmpPacket->m_nBodySize = rtmpPackagesize;
    // 設置 RTMP 包類型, 視頻類型數據
    rtmpPacket->m_packetType = RTMP_PACKET_TYPE_AUDIO;
    // 分配 RTMP 通道, 該值隨意設置, 建議在視頻 H.264 通道基礎上加 1
    rtmpPacket->m_nChannel = 0x11;
    // // 設置頭類型, 隨意設置一個
    rtmpPacket->m_headerType = RTMP_PACKET_SIZE_LARGE;




七、 FAAC 編碼器編碼代碼示例


/**
 * 音頻數據編碼
 * 接收 int8_t 類型的原因是, 這裏處理的是 jbyte* 類型參數
 * jbyte 類型就是 int8_t 類型
 * @param data
 */
void AudioChannel::encodeAudioData(int8_t *data) {

    /*
        函數原型 :
        int FAACAPI faacEncEncode(
            faacEncHandle hEncoder,
            int32_t * inputBuffer,
            unsigned int samplesInput,
            unsigned char *outputBuffer,
            unsigned int bufferSize);

        faacEncHandle hEncoder 參數 : FAAC 編碼器
        int32_t * inputBuffer 參數 : 需要編碼的 PCM 音頻輸入數據
        unsigned int samplesInput : 傳入的 PCM 樣本個數
        unsigned char *outputBuffer : 編碼後的 AAC 格式音頻輸出緩衝區
        unsigned int bufferSize : 輸出緩衝區最大字節大小

        返回值 : 編碼後的數據字節長度
     */
    int encodeAacDataByteCount = faacEncEncode(
            mFaacEncHandle, // FAAC 編碼器
            reinterpret_cast<int32_t *>(data), // 需要編碼的 PCM 音頻輸入數據
            mInputSamples, // 傳入的 PCM 樣本個數
            mFaacEncodeOutputBuffer, // 編碼後的 AAC 格式音頻輸出緩衝區
            mMaxOutputBytes); // 輸出緩衝區最大字節大小


    // 組裝 RTMP 數據包
    if (encodeAacDataByteCount > 0) {
        /*
            數據的大小 :
            前面有 2 字節頭信息
            音頻解碼配置信息 : 前兩位是 AF 00 , 指導 AAC 數據如何解碼
            音頻採樣信息 : 前兩位是 AF 01 , 實際的 AAC 音頻採樣數據
         */
        int rtmpPackagesize = 2 + encodeAacDataByteCount;

        // 創建 RTMP 數據包對象
        RTMPPacket *rtmpPacket = new RTMPPacket;

        // 爲 RTMP 數據包分配內存
        RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);

        /*
            根據聲道數生成相應的 文件頭 標識
            AF / AE 頭中的最後一位爲 1 表示立體聲, 爲 0 表示單聲道
            AF 是立體聲
            AE 是單聲道
         */
        rtmpPacket->m_body[0] = 0xAF;   //默認立體聲

        if (mChannelConfig == 1) {
            // 如果是單聲道, 將該值修改成 AE
            rtmpPacket->m_body[0] = 0xAE;
        }

        // 編碼出的聲音 都是 0x01, 本方法是對音頻數據進行編碼的方法, 頭信息肯定是 AF 01 數據
        // 數據肯定是 AAC 格式的採樣數據
        rtmpPacket->m_body[1] = 0x01;

        // 拷貝 AAC 音頻數據到 RTMPPacket 數據包中
        memcpy(&rtmpPacket->m_body[2], mFaacEncodeOutputBuffer, encodeAacDataByteCount);

        // 設置絕對時間, 一般設置 0 即可
        rtmpPacket->m_hasAbsTimestamp = 0;
        // 設置 RTMP 數據包大小
        rtmpPacket->m_nBodySize = rtmpPackagesize;
        // 設置 RTMP 包類型, 視頻類型數據
        rtmpPacket->m_packetType = RTMP_PACKET_TYPE_AUDIO;
        // 分配 RTMP 通道, 該值隨意設置, 建議在視頻 H.264 通道基礎上加 1
        rtmpPacket->m_nChannel = 0x11;
        // // 設置頭類型, 隨意設置一個
        rtmpPacket->m_headerType = RTMP_PACKET_SIZE_LARGE;

        // 調用回調接口, 將該封裝好的 RTMPPacket 數據包放入 native-lib 類中的 線程安全隊列中
        // 這是個 RTMPPacketPackUpCallBack 類型的函數指針
        mRtmpPacketPackUpCallBack(rtmpPacket);
    }

}
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Android筆記02-真機調式

1、手機打開開發者，並且usb連接電腦 2、打開sdk manager，安裝google usb driver 3、打開設備管理器，更新驅動程序，驅動程序目錄E:\android_sdk\extras\google\usb_driver

原創 2023-10-31 09:11:15

完美解決 Android 滑動衝突！

處理自定義 View 中的滑動衝突 對於大多數 Android 開發來說，處理滑動衝突好像很難，但實戰一下又發現，好像也挺簡單，因爲這個實際上是有套路可循的。基本就兩種方案：外部攔截法 && 內部攔截法。 2.1 外部攔截法 所謂外部攔截法

原創 2023-10-10 02:19:38

Android C++系列：Linux線程（一）概念

{"type":"doc","content":[{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"1. 什麼是線程",

轻口味 2021-12-08 11:33:58

Android無障礙體驗與開發

有着不同無障礙需求的用戶看到或者聽到的Android應用界面也是一種完全不同的交互體驗，使用Google開源的“無障礙體驗”項目來從用戶的視角親身體驗無障礙適配對用戶體驗的影響。在本次專題演講中，你也可以瞭解Google最新發布在Andro

王莹 2021-11-26 09:58:53

Android Studio 的更新

在本次專題演講中，將介紹 Android Studio 的一些新開發工具和功能的最新動態及其演示版，還會示範如何在您的應用開發流程中集成這些工具。 直達 Google 開發者在線課程，收穫 Android 技術乾貨 https://deve

王莹 2021-11-25 10:58:57

拒絕卡頓，揭祕盒馬鮮生 APP Android 短視頻秒播優化方案

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"image"

阿里巴巴移动技术 2021-11-24 10:23:56

Android 遊戲開發和結算服務的新特性

Android 遊戲開發工具包 (AGDK) 是一套工具和應用組件，可幫助您開發、優化和發佈優質的 Android 遊戲。 Google Play 結算系統是一項可讓您在 Android 應用中銷售數字產品和內容的服務。 在本次專題演講中，

王莹 2021-11-24 09:58:54

Android TV 與 Google TV 的新特性

在本次專題演講中，我們將向開發者介紹Android TV以及Google TV的新功能和用戶體驗。 直達 Google 開發者在線課程，收穫 Android 技術乾貨 https://developers.google.cn/learn/p

王莹 2021-11-24 09:53:53

Android 12L-針對大屏設備的新特性

Android 大屏設備及摺疊屏設備越來越受到用戶的青睞。在本次專題演講中，我們會向大家介紹 Android 平臺新增的對於大屏應用開發的支持，包括新的 API 和開發庫，以及更新的開發人員指南。 直達 Google 開發者在線課程，收穫

王莹 2021-11-24 09:53:53

Android C++系列：Linux文件IO操作(一)

{"type":"doc","content":[{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"1.1 C標準函數與

轻口味 2021-11-23 18:23:51

Android C++系列：JNI調用時的異常處理

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

轻口味 2021-11-19 10:03:53

2021 Google 開發者大會一覽，同步Android、TensorFlow、Web開發等最新動態

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

罗燕珊 2021-11-16 19:33:53

Jetpack Compose 佈局詳情

Jetpack Compose 提供了全新的佈局模型，可用於構建美觀流暢的界面。在此講座中，我們將深入介紹佈局模型及其功能和底層工作原理；並詳細說明捆綁式佈局和修飾符的構建方式，以及如何輕鬆創建自定義佈局和修飾符。本講座有助於您理解 Com

谷歌 2021-11-16 15:33:49

Google開發者大會

2021 年 Google 開發者大會以“Develop as One”爲主題，共享 Google 前沿產品資訊與技術趨勢洞見，攜手開發者和合作夥伴激活潛能，共創機遇，共謀發展。

王莹 2021-11-16 12:13:51

爲 Android 12 做好準備

Android 12 是今年剛剛發佈的 Android 新系統版本，它對操作系統的各個方面都做出了很多改進，包括用戶體驗、性能、和隱私。而伴隨着這些改進，也必然會在現有 API 或系統界面方面發生一些行爲變更。 在本次專題演講中，我們會介紹

王莹 2021-11-16 12:13:51