FFmpeg - Android 視頻播放器

本文的內容是基於《FFmpeg - 打造一款萬能的音樂播放器》來實現的，源碼的地址在我個人的 github 上。我打算再新建一個 VideoPlayer 項目用來實現視頻播放，因此本文的流程大致如下：整合音樂播放器項目，對項目架構進行調整，視頻解碼播放，音視頻同步，陸續完善封裝 SDK 。

1. 整合音樂播放器項目

爲了方便大家學習，我們先保留音樂播放器項目，然後把音樂播放器的代碼複製過來，在這基礎上再建一個新的項目 VideoPlayer。在實際開發的過程中可以不用新建兩個項目，根據具體的業務邏輯來取捨就好。不過還是想提醒一下大家，如果項目中只有音頻相關的業務邏輯，最好去裁剪一下 so 庫。我們也可以把解碼器做成動態加載，當然這屬於優化的內容了，後面我們也會講講關於 so 動態加載與動態修複相關的內容。關於音頻播放器未實現的功能，我們統一到後面再一起來完善，大家可以先把最終效果代碼拿去，自己先研究研究。

2. 對項目架構進行調整

我們現在想加上視頻的功能，那麼對於視頻和音頻解碼的部分，就會有很多冗餘的代碼，我們勢必需要進行抽離複用。因此我們打算新建一個 DZMedia.cpp 抽象類，把原來音頻解碼的線程提取到 DZFFmpeg.cpp 中來。之前所學的設計模式，也要開始用上來了。

/**
 * 基類，公共內容
 */
class DZMedia {
public:
    /**
     * 當前流的角標（音頻/視頻/字幕）
     */
    int streamIndex;
    /**
     * 解碼器上下文
     */
    AVCodecContext *pCodecContext = NULL;
    /**
     * 回調 Java 層的 Call
     */
    JNIPlayerCall *pPlayerCall = NULL;
    /**
     * 播放狀態
     */
    DZPlayStatus *pPlayStatus = NULL;
    /**
     * AVPacket 隊列
     */
    AVPacketQueue *pPacketQueue = NULL;
    /**
     * 整個視頻的時長
     */
    int duration = 0;
    /**
     * 當前播放的時長
     */
    double currentTime = 0;
public:
    DZMedia(int streamIndex, DZPlayStatus *pPlayStatus, JNIPlayerCall *pPlayerCall);

    ~DZMedia();

public:
    /**
     * 播放方法，純虛函數
     */
    virtual void play() = 0;

    /**
     * 解析公共的解碼器上下文
     */
    virtual void analysisStream(ThreadType threadType, AVFormatContext *pFormatContext);

    /**
     * 準備解析數據過程中出錯的回調
     * @param threadType 線程類型
     * @param errorCode 錯誤碼
     * @param errorMsg 錯誤信息
     */
    void callPlayerJniError(ThreadType threadType, int errorCode, const char *errorMsg);

    /**
     * 釋放資源
     */
    void release();
};

DZMedia::DZMedia(int streamIndex, DZPlayStatus *pPlayStatus, JNIPlayerCall *pPlayerCall) {
    this->streamIndex = streamIndex;
    this->pPlayStatus = pPlayStatus;
    this->pPlayerCall = pPlayerCall;
    pPacketQueue = new AVPacketQueue(pPlayStatus);
}

DZMedia::~DZMedia() {
    release();
}

void DZMedia::analysisStream(ThreadType threadType, AVFormatContext *pFormatContext) {
    AVCodecParameters *pCodecParameters = pFormatContext->streams[streamIndex]->codecpar;
    AVCodec *pCodec = avcodec_find_decoder(pCodecParameters->codec_id);
    if (!pCodec) {
        LOGE("Can't find audio decoder");
        callPlayerJniError(threadType, FIND_AUDIO_DECODER_ERROR_CODE,
                "Can't find audio decoder.");
        return;
    }

    pCodecContext = avcodec_alloc_context3(pCodec);
    int codecContextParametersRes = avcodec_parameters_to_context(pCodecContext, pCodecParameters);
    if (codecContextParametersRes < 0) {
        LOGE("codec parameters to_context error :%s", av_err2str(codecContextParametersRes));
        callPlayerJniError(threadType, codecContextParametersRes,
                av_err2str(codecContextParametersRes));
        return;
    }

    int codecOpenRes = avcodec_open2(pCodecContext, pCodec, NULL);
    if (codecOpenRes < 0) {
        LOGE("codec open error : %s", av_err2str(codecOpenRes));
        callPlayerJniError(threadType, codecOpenRes, av_err2str(codecOpenRes));
        return;
    }

    duration = pFormatContext->duration / AV_TIME_BASE;
}


void DZMedia::callPlayerJniError(ThreadType threadType, int errorCode, const char *errorMsg) {
    release();
    if (pPlayerCall != NULL) {
        pPlayerCall->onCallError(threadType, errorCode, errorMsg);
    }
}

void DZMedia::release() {
    if (pCodecContext != NULL) {
        avcodec_close(pCodecContext);
        avcodec_free_context(&pCodecContext);
        pCodecContext = NULL;
    }

    if (pPacketQueue != NULL) {
        delete (pPacketQueue);
        pPacketQueue = NULL;
    }
}

3. 視頻解碼播放

視頻的解碼與音頻的解碼流程大致一致，但需要考慮能否硬解碼，關鍵就是用什麼方式渲染的問題了。目前有兩種比較主流的方式，一種就是用純原聲 SurfaceView ，一種是用 GLSurfaceView 渲染。如果用 GLSurfaceView 去渲染，我們勢必需要了解學習 OpenGLES ，這需要一定的學習成本。我們先繞過去直接採用 SurfaceView 來繪製。對 OpenGL 感興趣的同學可以先看下 google 官方的例子 gles3jni ，後面我也會分享關於 OpenGL 的一些知識，大家不妨先去了解幾個問題：

OpenGL 是什麼？
OpenGL 可以用來幹什麼？
OpenGL 與 OpenGLES 有什麼關係？
爲什麼要用 OpenGL 有哪些好處？
應該如何學 OpenGL 有哪些難處？

  //--------------- 硬解碼相關 start ---------------
  private static final Map<String, String> mCodecMap = new HashMap<>(2);

  static {
    /**
     "video/x-vnd.on2.vp8" - VP8 video (i.e. video in .webm)
     "video/x-vnd.on2.vp9" - VP9 video (i.e. video in .webm)
     "video/avc" - H.264/AVC video
     "video/hevc" - H.265/HEVC video
     "video/mp4v-es" - MPEG4 video
     "video/3gpp" - H.263 video
     "audio/3gpp" - AMR narrowband audio
     "audio/amr-wb" - AMR wideband audio
     "audio/mpeg" - MPEG1/2 audio layer III
     "audio/mp4a-latm" - AAC audio (note, this is raw AAC packets, not packaged in LATM!)
     "audio/vorbis" - vorbis audio
     "audio/g711-alaw" - G.711 alaw audio
     "audio/g711-mlaw" - G.711 ulaw audio
    */
    mCodecMap.put("h264", "video/avc");
    mCodecMap.put("h265", "video/hevc");
  }

  private static final String findMediaCodecName(String codeName) {
    if (mCodecMap.containsKey(codeName)) {
      return mCodecMap.get(codeName);
    }
    return "";
  }

  /**
  * 是否支持硬解碼，Call from jni
  *
  * @param codeName ffmpeg 的解碼器名字
  * @return 是否支持硬解碼
  */
  private final boolean isSupportStiffCodec(String codeName) {
    int codecCount = MediaCodecList.getCodecCount();
    for (int i = 0; i < codecCount; i++) {
        String[] supportedTypes = MediaCodecList.getCodecInfoAt(i).getSupportedTypes();
        for (String type : supportedTypes) {
            if (type.equals(findMediaCodecName(codeName))) {
                return true;
            }
        }
    }
    return false;
  }
  //--------------- 硬解碼相關  end  ---------------

  //獲取 nativeWindow 窗體
  ANativeWindow *nativeWindow = ANativeWindow_fromSurface(env, surface);
  //設置緩衝區的屬性（寬、高、像素格式）
  ANativeWindow_setBuffersGeometry(nativeWindow, pCodecContext->width, pCodecContext->height, WINDOW_FORMAT_RGBA_8888);
  //繪製時的緩衝區
  ANativeWindow_Buffer window_buffer;
  // lock
  ANativeWindow_lock(nativeWindow, &window_buffer, NULL);
  // 轉換成 rgba
  sws_scale(pSwsContext, pFrame->data, pFrame->linesize, 0, pFrame->height, rgbaFrame->data, rgbaFrame->linesize);
  // 把數據拷貝到 window_buffer 中
  memcpy(window_buffer.bits, buffer, pCodecContext->width * pCodecContext->height * 4);
  //unlock
  ANativeWindow_unlockAndPost(nativeWindow);

4. 音視頻的同步

關於音視頻的同步問題，我在網上查了一些資料，實現方案需要大量的變量和複雜的邏輯，個人推薦大家去看下 ffmpeg 的源碼，看看官方是怎麼做音視頻同步的。這裏我給出一套個人的解決方案，獲取音視頻的 pts 差值，根據差值來設置視頻的睡眠時間，如果視頻快了就休眠久點，視頻慢了就休眠短點，達到視頻和音頻的相對同步。這裏有兩個概念：
pts：顯示時間戳，用來告訴播放器該在什麼時候顯示這一幀數據。
time_base：時間度量單位（時間基）。

/**
 * 獲取當前視頻幀應該休眠的時間
 * @param pFrame 當前視頻幀
 * @return 睡眠時間
 */
double DZVideo::getFrameSleepTime(AVFrame *pFrame) {
    // 如果 < 0 那麼還是用之前的時間
    double times = pFrame->pts * av_q2d(timeBase);
    if (times > currentTime) {
        currentTime = times;
    }
    // 音頻和視頻之間的差值
    double diffTime = pAudio->currentTime - currentTime;

    // 第一次控制，0.016s ～ -0.016s
    if (diffTime > 0.016 || diffTime < -0.016) {
        if (diffTime > 0.016) {
            delayTime = delayTime * 2 / 3;
        } else if (diffTime < -0.016) {
            delayTime = delayTime * 3 / 2;
        }

        // 第二次控制，defaultDelayTime * 2 / 3 ～ defaultDelayTime * 3 / 2
        if (delayTime < defaultDelayTime / 2) {
            delayTime = defaultDelayTime * 2 / 3;
        } else if (delayTime > defaultDelayTime * 2) {
            delayTime = defaultDelayTime * 3 / 2;
        }
    }

    // 第三次控制，0～defaultDelayTime * 2
    if (diffTime >= 0.25) {
        delayTime = 0;
    } else if (diffTime <= -0.25) {
        delayTime = defaultDelayTime * 2;
    }

    // 假設1秒鐘25幀，不出意外情況，delayTime 是 0.02 , 0.04 , 0.06
    return delayTime;
}

這種同步的方式雖說是簡單了點，但我測試過很多視頻都是沒有問題的，大家也可以多測試一下，反正同步的思想都差不多，參數我們可以具體調整。

視頻地址：https://pan.baidu.com/s/1-RccXB0JHX4gui4TAGHcLA
視頻密碼：9wp2

FFmpeg - Android 視頻播放器

1. 整合音樂播放器項目

2. 對項目架構進行調整

3. 視頻解碼播放

4. 音視頻的同步

linux安裝cuda和cudnn

測試人員都是畫畫大神，讓我看看誰還不會用代碼圖？

Object.values()對象遍歷

我拍了拍Redis，被移出了羣聊···

網絡現代化通向雲原生應用的高速公路

面試官：說說你對序列化的理解

我宣佈，這是我找到的史上AI最全論文體系！

Android 四大組件 - bindService 的通信過程

Android 系統服務 - AMS 的啓動過程

Android Framework - 開機啓動 SystemServer 進程

Android Handler 通信 - 徹底瞭解 Handler 的通信過程

Android 四大組件 - 進程的 fork 創建過程

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結