【FFmpeg】(一) 音視頻相關基礎知識以及FFmpeg介紹與編譯 【FFmpeg】(一) 音視頻相關基礎知識以及FFmpeg介紹

【FFmpeg】(一) 音視頻相關基礎知識以及FFmpeg介紹

一、音視頻相關基礎知識

1、視頻播放器原理

視頻播放器就是將一個封裝的格式數據進行解封裝，得到對應的音頻壓縮數據和視頻壓縮數據，再進行相應的音視頻解碼，得到音頻採樣數據和視頻採樣數據，最後將音頻採樣數據和視頻採樣數據同時播放，達到音視頻同步。

• 封裝格式數據通常有FLV、MKV、MP4、AVI、RMVB 等等
• 錄音、錄像的實質就是一個壓縮採集到的圖像或者音頻數據的過程，這個過程又稱爲編碼
• 播放視頻或者音頻文件，實質上是一個解壓縮的過程，這個過程又稱爲解碼

1.1 解封裝

將封裝格式的數據，分離成爲音頻流壓縮編碼數據和視頻流壓縮編碼數據。封裝格式種類很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是將已經壓縮編碼的視頻數據和音頻數據按照一定的格式放到一起，輸出特定編碼格式的視頻碼流和A音頻碼流。

1.2 解碼

1.2.1 音頻壓縮數據解碼

一般我們常見的音頻壓縮編碼標準包含AAC，MP3，AC-3，WMA 等等；通過解碼將壓縮編碼的音頻數據輸出成爲非壓縮的音頻採樣數據，例如PCM數據

• AAC：數據由大小不固定的ADTS構成
• PCM：單聲道的情況下按照順序存儲每個採樣點的數據；雙聲道的情況下按照 "左右、左右"的順序存儲每個採樣點兩個聲道的數據

採樣率：也稱爲採樣速度或者採樣率，定義了每秒從連續信號中提取並組成離散信號的採樣個數，它用赫茲（Hz）來表示。採樣頻率的倒數是採樣週期或者叫作採樣時間，它是採樣之間的時間間隔。通俗的講採樣頻率是指計算機每秒鐘採集多少個信號樣本。

1.2.2 視頻壓縮數據解碼

一般我們常見的視頻的壓縮編碼標準則包含H.264，MPEG2，VC-1等等；壓縮編碼的視頻數據輸出成爲視頻像素數據（非壓縮的顏色數據），例如YUV(YUV420P,YUV422P,YUV444P;最常見爲YUV420P)，RGB(RGB24,RGB32)等等。Y：亮度，U：色度，V：濃度

• H.264：數據由大學不固定的NALU構成，最常見情況下，1個NALU存儲了1幀畫面的壓縮編碼後的數據

1.3 音視頻同步

根據解封裝模塊過程中獲取到的參數信息，同步解碼得到的音頻和視頻數據，並將音頻和視頻數據送至系統的聲卡和顯卡播放出來。

二、FFmpeg 介紹

1、定義

FFmpeg是一套可以用來記錄、轉換數字音頻、視頻，並能將其轉化爲流的開源計算機程序。採用LGPL或GPL許可證。它提供了錄製、轉換以及流化音視頻的完整解決方案。它包含了非常先進的音頻/視頻編解碼庫libavcodec，爲了保證高可移植性和編解碼質量，libavcodec裏很多code都是從頭開發的。

2、FFmpeg 命令

2.1 視頻格式轉換命令

命令參數	說明
-i	源文件
-o	輸出文件

//進入到FFmpeg 的 bin 目錄下執行以下命令
ffmpeg -i d:\\input.mp4 -o d:\\output.avi

2.2 視頻轉 Gif 命令

命令參數	說明
-i	源文件
-ss	從多少秒開始
-t	到多少秒介紹
-s	圖像的尺寸大小
-b:v	碼率

//進入到FFmpeg 的 bin 目錄下執行以下命令
ffmpeg -ss 5 -t 15 -i d:\\input.mp4 -s 300x200 -b:v 1500K D:\\video_gif.gif

三、使用 visual studio 編譯 FFmpeg

*注：項目根目錄即創建cpp源文件所在目錄

步驟：

1. 在【FFmpeg官網】下載 FFmpeg 在windows 下的開發(dev)版本 ffmpeg-XXX-win64-dev
2. 在 visual studio上創建一個C++的空項目
3. 將下載好的 FFmpeg 包解壓後，複製 include 和 lib 文件夾到剛剛創建好的項目根路徑下
4. 下載 FFmpeg 在windows 下的 Shared 版本ffmpeg-XXX-win64-shared,解壓後賦值 bin 目錄下的動態庫(.dll)文件到項目根目錄下
5. 修改項目的配置管理器中的活動姐姐方案平臺爲X64(根據自己操作系統位數更改)
6. 在 visual studio 中項目右鍵，點擊【屬性（ALT+Enter）】,選中【C++目錄】，右側的【包含目錄】，點擊編輯，增加剛剛複製到根目錄下的 include 目錄

7. 點擊【屬性】中的【鏈接器】，在右側選中【附加庫目錄】，點擊編輯，增加剛剛複製到根目錄下的 lib 目錄

8. 點擊【屬性】中的【鏈接器】下的【輸入】，在右側選中【附加依賴庫】，點擊編輯，增加剛剛複製到根目錄下的 lib 目錄下所有的 .lib 文件

avcodec.lib
avdevice.lib
avfilter.lib
avformat.lib
avutil.lib
postproc.lib
swresample.lib
swscale.lib

9. 在項目中添加一個.cpp的源文件，如：my_ffmpeg.cpp

#include <stdlib.h>
#include <stdio.h>

//C和C++混編，指示編譯器按照C語言進行編譯
extern "C"{
//引入ffmpeg的頭文件
#include "libavcodec/avcodec.h"
};

void main() {
    //輸出 ffmpeg 的配置
    printf("%s\n",avcodec_configuration());

    getchar();
}

四、使用 Linux主機 編譯 FFmpeg

1、編譯前準備

• 阿里雲主機(Ubuntu/centos)
• 客戶端主機安裝XShell，Xftp

2、編譯

• 使用Xftp將NDK、FFmpeg 上傳到阿里雲主機
• 安裝vim 編輯器

$ apt-get update
$ sudo apt-get install vim-gtk

• NDK 安裝，配置環境變量

//給文件授權可執行
$ chmod 777 -R android-ndk-r10e-linux-x86_64.bin
//執行文件
$ ./android-ndk-r10e-linux-x86_64.bin
//配置環境變量
$ vim ~/.bashrc

//增加環境變量
export NDKROOT=/home/study/ndk/android-ndk-r10e
export PATH=$NDKROOT:$PATH

$ source ~/.bashrc
//查看ndk版本號
$ ndk-build -v

• 解壓 FFmpeg

$ tar -xzvf ffmpeg-4.1.2.tar.gz 

• 編譯 FFmpeg ,實現 Shell 腳本文件android_build.sh

#!/bin/bash
make clean
export NDK=/home/study/ndk/android-ndk-r10e
export SYSROOT=$NDK/platforms/android-9/arch-arm/
export TOOLCHAIN=$NDK/toolchains/arm-linux-androideabi-4.8/prebuilt/linux-x86_64
export CPU=arm
export PREFIX=$(pwd)/android/$CPU
export ADDI_CFLAGS="-marm"

./configure --target-os=linux \
--prefix=$PREFIX --arch=arm \
--disable-doc \
--enable-shared \
--disable-static \
--disable-yasm \
--disable-symver \
--enable-gpl \
--disable-ffmpeg \
--disable-ffplay \
--disable-ffprobe \
--disable-ffserver \
--disable-doc \
--disable-symver \
--cross-prefix=$TOOLCHAIN/bin/arm-linux-androideabi- \
--enable-cross-compile \
--sysroot=$SYSROOT \
--extra-cflags="-Os -fpic $ADDI_CFLAGS" \
--extra-ldflags="$ADDI_LDFLAGS" \
$ADDITIONAL_CONFIGURE_FLAG
make clean
make
make install

執行腳本文件

./android_build.sh

五、使用編譯後形成的include和lib目錄實現Android NDK 解碼功能

步驟：

1. 在Android studio上創建一個支持C++的Android項目
2. 將生成的 include 和 lib 複製到 cpp 目錄下，更改CMakeLists.txt文件

cmake_minimum_required(VERSION 3.4.1)
set(DISTRIBUTION_DIR ${CMAKE_SOURCE_DIR}/../jniLibs/)

add_library( # Sets the name of the library.
        ffmpeg-video
        SHARED
        ffmpeg_video.c)


# 編解碼(最重要的庫)
add_library(
        avcodec
        SHARED
        IMPORTED
)

#指定編碼庫的位置
set_target_properties(
        avcodec
        PROPERTIES IMPORTED_LOCATION
        ${DISTRIBUTION_DIR}/${ANDROID_ABI}/libavcodec-56.so
)

#設備信息
add_library(
        avdevice
        SHARED
        IMPORTED
)

#指定設備信息的位置
set_target_properties(
        avdevice
        PROPERTIES IMPORTED_LOCATION
        ${DISTRIBUTION_DIR}/${ANDROID_ABI}/libavdevice-56.so
)

#濾鏡特效處理庫
add_library(
        avfilter
        SHARED
        IMPORTED
)

#指定濾鏡庫位置
set_target_properties(
        avfilter
        PROPERTIES IMPORTED_LOCATION
        ${DISTRIBUTION_DIR}/${ANDROID_ABI}/libavfilter-5.so
)

#封裝格式處理庫
add_library(
        avformat
        SHARED
        IMPORTED
)

#指定格式庫路徑
set_target_properties(
        avformat
        PROPERTIES IMPORTED_LOCATION
        ${DISTRIBUTION_DIR}/${ANDROID_ABI}/libavformat-56.so
)

#工具庫(大部分庫都需要這個庫的支持)
add_library(
        avutil
        SHARED
        IMPORTED
)

#指定工具庫路徑
set_target_properties(
        avutil
        PROPERTIES IMPORTED_LOCATION
        ${DISTRIBUTION_DIR}/${ANDROID_ABI}/libavutil-54.so
)

#後期處理
add_library(
        postproc
        SHARED
        IMPORTED
)

#指定後期處理庫路徑
set_target_properties(
        postproc
        PROPERTIES IMPORTED_LOCATION
        ${DISTRIBUTION_DIR}/${ANDROID_ABI}/libpostproc-53.so
)

#數據格式轉換庫
add_library(
        swresample
        SHARED
        IMPORTED
)

#指定庫位置
set_target_properties(
        swresample
        PROPERTIES IMPORTED_LOCATION
        ${DISTRIBUTION_DIR}/${ANDROID_ABI}/libswresample-1.so
)

#視頻像素數據格式轉換
add_library(
        swscale
        SHARED
        IMPORTED
)
#視頻像素格式轉換庫位置
set_target_properties(
        swscale
        PROPERTIES IMPORTED_LOCATION
        ${DISTRIBUTION_DIR}/${ANDROID_ABI}/libswscale-3.so
)


find_library(
        android-lib
        android
)

find_library(
        log-lib
        log
)

find_library(
        jnigraphics-lib
        jnigraphics
)

# 將預構建庫與本地庫相連
target_link_libraries(
        ffmpeg-video
        avcodec
        avdevice
        avfilter
        avformat
        avutil
        postproc
        swresample
        swscale
        ${android-lib}
        ${jnigraphics-lib}
        ${log-lib}
)

3. 編寫本地 native 方法，編譯生成.h頭文件

package cn.onestravel.ndk.ffmpegdecodedemo;


public class VideoUtils {
    static {
        System.loadLibrary("avutil-54");
        System.loadLibrary("avcodec-56");
        System.loadLibrary("avdevice-56");
        System.loadLibrary("avfilter-5");
        System.loadLibrary("avformat-56");
        System.loadLibrary("postproc-53");
        System.loadLibrary("swresample-1");
        System.loadLibrary("swscale-3");
        System.loadLibrary("ffmpeg-video");
    }
    public native static void decode(String input,String output);
}

5. 對編譯生成.h頭文件進行實現，創建ffmpeg_video.c

//
// Created by Administrator on 2019/3/27.
//

//
// Created by Administrator on 2019/3/26.
//
#include <android/log.h>
#include "cn_onestravel_ndk_ffmpegdecodedemo_VideoUtils.h"
//編碼
#include "include/libavcodec/avcodec.h"
//封裝格式處理
#include "include/libavformat/avformat.h"
//像素處理
#include "include/libswscale/swscale.h"
#include "include/libavutil/avutil.h"
#include "include/libavutil/frame.h"

#define LOGI(FORMAT,...) __android_log_print(ANDROID_LOG_INFO,"FFMPEG",FORMAT,##__VA_ARGS__);
#define LOGE(FORMAT,...) __android_log_print(ANDROID_LOG_ERROR,"FFMPEG",FORMAT,##__VA_ARGS__);


/*
 * Class:     cn_onestravel_ndk_ffmpegdecode_VoideUtils
 * Method:    decode
 * Signature: (Ljava/lang/String;Ljava/lang/String;)V
 */
JNIEXPORT void JNICALL Java_cn_onestravel_ndk_ffmpegdecodedemo_VideoUtils_decode
  (JNIEnv * env, jclass jcls, jstring input_jstr, jstring output_jstr){
    //需要轉碼的視頻文件(輸入的視頻文件)
    const char* input_cstr = (*env)->GetStringUTFChars(env,input_jstr,NULL);
    const char* output_cstr = (*env)->GetStringUTFChars(env,output_jstr,NULL);

    //1.註冊所有組件
    av_register_all();

    //封裝格式上下文，統領全局的結構體，保存了視頻文件封裝格式的相關信息
    AVFormatContext *pFormatCtx = avformat_alloc_context();

    //2.打開輸入視頻文件
    if (avformat_open_input(&pFormatCtx, input_cstr, NULL, NULL) != 0)
    {
        LOGE("%s","無法打開輸入視頻文件");
        return;
    }

    //3.獲取視頻文件信息
    if (avformat_find_stream_info(pFormatCtx,NULL) < 0)
    {
        LOGE("%s","無法獲取視頻文件信息");
        return;
    }

    //獲取視頻流的索引位置
    //遍歷所有類型的流（音頻流、視頻流、字幕流），找到視頻流
    int v_stream_idx = -1;
    int i = 0;
    //number of streams
    for (; i < pFormatCtx->nb_streams; i++)
    {
        //流的類型
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            v_stream_idx = i;
            break;
        }
    }

    if (v_stream_idx == -1)
    {
        LOGE("%s","找不到視頻流\n");
        return;
    }

    //只有知道視頻的編碼方式，才能夠根據編碼方式去找到解碼器
    //獲取視頻流中的編解碼上下文
    AVCodecContext *pCodecCtx = pFormatCtx->streams[v_stream_idx]->codec;
    //4.根據編解碼上下文中的編碼id查找對應的解碼
    AVCodec *pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
    //（迅雷看看，找不到解碼器，臨時下載一個解碼器）
    if (pCodec == NULL)
    {
        LOGE("%s","找不到解碼器\n");
        return;
    }

    //5.打開解碼器
    if (avcodec_open2(pCodecCtx,pCodec,NULL)<0)
    {
        LOGE("%s","解碼器無法打開\n");
        return;
    }

    //輸出視頻信息
    LOGI("視頻的文件格式：%s",pFormatCtx->iformat->name);
    LOGI("視頻時長：%ld", (pFormatCtx->duration)/1000000);
    LOGI("視頻的寬高：%d,%d",pCodecCtx->width,pCodecCtx->height);
    LOGI("解碼器的名稱：%s",pCodec->name);

    //準備讀取
    //AVPacket用於存儲一幀一幀的壓縮數據（H264）
    //緩衝區，開闢空間
    AVPacket *packet = (AVPacket*)av_malloc(sizeof(AVPacket));

    //AVFrame用於存儲解碼後的像素數據(YUV)
    //內存分配
    AVFrame *pFrame = av_frame_alloc();
    //YUV420
    AVFrame *pFrameYUV = av_frame_alloc();
    //只有指定了AVFrame的像素格式、畫面大小才能真正分配內存
    //緩衝區分配內存
    uint8_t *out_buffer = (uint8_t *)av_malloc(avpicture_get_size(AV_PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height));
    //初始化緩衝區
    avpicture_fill((AVPicture *)pFrameYUV, out_buffer, AV_PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height);

    //用於轉碼（縮放）的參數，轉之前的寬高，轉之後的寬高，格式等
    struct SwsContext *sws_ctx = sws_getContext(pCodecCtx->width,pCodecCtx->height,pCodecCtx->pix_fmt,
        pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_YUV420P,
        SWS_BICUBIC, NULL, NULL, NULL);


    int got_picture, ret;

    FILE *fp_yuv = fopen(output_cstr, "wb+");

    int frame_count = 0;

    //6.一幀一幀的讀取壓縮數據
    while (av_read_frame(pFormatCtx, packet) >= 0)
    {
        //只要視頻壓縮數據（根據流的索引位置判斷）
        if (packet->stream_index == v_stream_idx)
        {
            //7.解碼一幀視頻壓縮數據，得到視頻像素數據
            ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
            if (ret < 0)
            {
                LOGE("%s","解碼錯誤");
                return;
            }

            //爲0說明解碼完成，非0正在解碼
            if (got_picture)
            {
                //AVFrame轉爲像素格式YUV420，寬高
                //2 6輸入、輸出數據
                //3 7輸入、輸出畫面一行的數據的大小 AVFrame 轉換是一行一行轉換的
                //4 輸入數據第一列要轉碼的位置 從0開始
                //5 輸入畫面的高度
                sws_scale(sws_ctx, pFrame->data, pFrame->linesize, 0, pCodecCtx->height,
                    pFrameYUV->data, pFrameYUV->linesize);

                //輸出到YUV文件
                //AVFrame像素幀寫入文件
                //data解碼後的圖像像素數據（音頻採樣數據）
                //Y 亮度 UV 色度（壓縮了） 人對亮度更加敏感
                //U V 個數是Y的1/4
                int y_size = pCodecCtx->width * pCodecCtx->height;
                fwrite(pFrameYUV->data[0], 1, y_size, fp_yuv);
                fwrite(pFrameYUV->data[1], 1, y_size / 4, fp_yuv);
                fwrite(pFrameYUV->data[2], 1, y_size / 4, fp_yuv);

                frame_count++;
                LOGI("解碼第%d幀",frame_count);
            }
        }

        //釋放資源
        av_free_packet(packet);
    }

    fclose(fp_yuv);

    (*env)->ReleaseStringUTFChars(env,input_jstr,input_cstr);
    (*env)->ReleaseStringUTFChars(env,output_jstr,output_cstr);

    av_frame_free(&pFrame);

    avcodec_close(pCodecCtx);

    avformat_free_context(pFormatCtx);

  }

5. Activity 實現

public class MainActivity extends AppCompatActivity {


    private boolean permission;
    private VideoThread videoThread;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        requestPermission();
        videoThread = new VideoThread();
    }

    /**
     * 獲取權限
     */
    private void requestPermission() {
        if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.M) {
            String[] perms = {"android.permission.WRITE_EXTERNAL_STORAGE"};
            if (checkSelfPermission(perms[0]) == PackageManager.PERMISSION_DENIED) {
                permission = false;
                requestPermissions(perms, 200);
            } else {
                permission = true;
            }
        }
    }

    @Override
    public void onRequestPermissionsResult(int requestCode, @NonNull String[] permissions, @NonNull int[] grantResults) {
        super.onRequestPermissionsResult(requestCode, permissions, grantResults);
        if (requestCode == 200) {
            if (grantResults[0] == PackageManager.PERMISSION_GRANTED) {
                permission = true;
            }
        }
    }

    public void decode(View view) {
        if (!permission) {
            Toast.makeText(this, "請允許存儲權限", Toast.LENGTH_SHORT).show();
            requestPermission();
            return;
        }
        if (videoThread == null) {
            videoThread = new VideoThread();
        }
        try {
            if(!videoThread.isAlive()) {
                videoThread.start();
            }
        }catch (Exception e){
            e.printStackTrace();
        }

    }


    @Override
    protected void onDestroy() {
        videoThread = null;
        super.onDestroy();
    }

    public static class VideoThread extends Thread {
        @Override
        public void run() {
            super.run();
            String input = Environment.getExternalStorageDirectory().getAbsolutePath() + "/input.mp4";
            String output = Environment.getExternalStorageDirectory().getAbsolutePath() + "/out.yuv";
            VideoUtils.decode(input, output);
            Log.i("Activity","編碼完成");
        }
    }
}

6. 運行程序，安裝到手機，進行解碼成 yuv