ffmpeg初學

在CSDN上的這一段日子,接觸到了很多同行業的人,尤其是使用FFMPEG進行視音頻編解碼的人,有的已經是有多年經驗的“大神”,有的是剛開始學習的初學者。在和大家探討的過程中,我忽然發現了一個問題:在“大神”和初學者之間好像有一個不可逾越的鴻溝。“大神”們水平高超,探討着深奧的問題;而初學者們還停留在入門階段。究竟是什麼原因造成的這種“兩極分化”呢?最後,我發現了問題的關鍵:FFMPEG難度比較大,卻沒有一個循序漸進,由簡單到複雜的教程。現在網上的有關FFMPEG的教程多半難度比較大,不太適合剛接觸FFMPEG的人學習;而且很多的例子程序編譯通不過,極大地打消了學習的積極性。我自己在剛開始學習FFMPEG的時候也遇到了很大的困難。爲了幫助更多的人快速成爲“大神”,我想總結一個學習FFMPEG的方法,方便大家循序漸進的學習FFMPEG。

PS:有不少人不清楚“FFmpeg”應該怎麼讀。它讀作“ef ef em peg”


0. 背景知識

本章主要介紹一下FFMPEG都用在了哪裏(在這裏僅列幾個我所知的,其實遠比這個多)。說白了就是爲了說明:FFMPEG是非常重要的。

使用FFMPEG作爲內核視頻播放器:

Mplayer,ffplay,射手播放器,暴風影音,KMPlayer,QQ影音…

使用FFMPEG作爲內核的Directshow Filter:

ffdshow,lav filters…

使用FFMPEG作爲內核的轉碼工具:

ffmpeg,格式工廠…

事實上,FFMPEG的視音頻編解碼功能確實太強大了,幾乎囊括了現存所有的視音頻編碼標準,因此只要做視音頻開發,幾乎離不開它。

對於完全沒有視音頻技術背景的人來說,在學習FFmpeg之前最好先了解一下幾種最基本的視音頻數據的格式,可以參考下面的文章:

[總結]視音頻編解碼技術零基礎學習方法

視音頻數據處理入門:RGB、YUV像素數據處理

視音頻數據處理入門:PCM音頻採樣數據處理

視音頻數據處理入門:H.264視頻碼流解析

視音頻數據處理入門:AAC音頻碼流解析

視音頻數據處理入門:FLV封裝格式解析

視音頻數據處理入門:UDP-RTP協議解析


1. ffmpeg程序的使用(ffmpeg.exe,ffplay.exe,ffprobe.exe)


【視頻資源】

本文中第1,2章是FFmpeg編程最基礎的內容。這部分的內容我在給大二同學代課的時候錄製成了視頻,有時間的話可以看一下《基於 FFmpeg + SDL 的視頻播放器的製作》課程的視頻


本章主要介紹一下ffmpeg工程包含的三個exe的使用方法。

ffmpeg的官方網站是:http://ffmpeg.org/

編譯好的windows可用版本的下載地址(官網中可以連接到這個網站,和官方網站保持同步): http://ffmpeg.zeranoe.com/builds/

該網站中的FFMPEG分爲3個版本:Static,Shared,Dev。

前兩個版本可以直接在命令行中使用,他們的區別在於:Static裏面只有3個應用程序:ffmpeg.exe,ffplay.exe,ffprobe.exe,每個exe的體積都很大,相關的Dll已經被編譯到exe裏面去了。Shared裏面除了3個應用程序:ffmpeg.exe,ffplay.exe,ffprobe.exe之外,還有一些Dll,比如說avcodec-54.dll之類的。Shared裏面的exe體積很小,他們在運行的時候,到相應的Dll中調用功能。

Dev版本是用於開發的,裏面包含了庫文件xxx.lib以及頭文件xxx.h,這個版本不包含exe文件。

打開系統命令行接面,切換到ffmpeg所在的目錄,就可以使用這3個應用程序了。

1.1 ffmpeg.exe

ffmpeg是用於轉碼的應用程序。

一個簡單的轉碼命令可以這樣寫:

將input.avi轉碼成output.ts,並設置視頻的碼率爲640kbps

  1. ffmpeg -i input.avi -b:v 640k output.ts  
ffmpeg -i input.avi -b:v 640k output.ts
    具體的使用方法可以參考: ffmpeg參數中文詳細解釋

    詳細的使用說明(英文):http://ffmpeg.org/ffmpeg.html

    1.2 ffplay.exe

    ffplay是用於播放的應用程序。

    一個簡單的播放命令可以這樣寫:

    播放test.avi

    1. ffplay test.avi  
    ffplay test.avi
      具體的使用方法可以參考:ffplay的快捷鍵以及選項

      詳細的使用說明(英文):http://ffmpeg.org/ffplay.html

      1.3 ffprobe.exe

      ffprobe是用於查看文件格式的應用程序。

      這個就不多介紹了。

      詳細的使用說明(英文):http://ffmpeg.org/ffprobe.html


      2. ffmpeg庫的使用:視頻播放器

      本章開始介紹使用ffmpeg的庫進行開發。

      2.1 ffmpeg庫的配置

      http://ffmpeg.zeranoe.com/builds/網站上

      1.下載Dev版本,裏面包含了ffmpeg的xxx.h頭文件以及xxx.lib庫文件。

      2.下載Shared版本,裏面包含了ffmpeg的dll文件。

      3.將這兩部分文件拷貝到VC工程下面就可以了

      注:可能會出現問題,參見:FFMPEG 庫移植到 VC 需要的步驟

      如果不想自己手動配置,可以下載已經配置好的工程:最簡單的基於FFMPEG+SDL的視頻播放器

      2.2 最簡單的視頻播放器

      學習文章100行代碼實現最簡單的基於FFMPEG+SDL的視頻播放器中的代碼,這是ffmpeg做視頻播放器最簡單的代碼了,是我自己精簡出來的,已經不能再簡化了,每一行都很重要。

      原版是基於SDL1.2的視頻播放器,後來更新了基於SDL2.0的最簡單的視頻播放器:最簡單的基於FFMPEG+SDL的視頻播放器 ver2 (採用SDL2.0)

      上述播放器使用libavformat和libavcodec兩個類庫完成了視頻的解碼工作。實際上解碼工作只需要libavcodec就可以了。因此更新了一個“純淨”的解碼器。該解碼器只使用libavcodec完成解碼工作: 最簡單的基於FFmpeg的解碼器-純淨版(不包含libavformat)

      ffmpeg的函數介紹:ffmpeg函數介紹

      注1:播放視頻或音頻數據的時候會用到SDL。有關SDL可以參考:SDL介紹

               SDL參考文檔:SDL GUIDE 中文譯本

      注2:如果想查看解碼後的數據,需要用到 YUV播放器:YUV播放器源代碼YUV Player Deluxe都可以

      2.3 相關結構體的研究

      ffmpeg的結構體之間的關係參考文章:FFMPEG中最關鍵的結構體之間的關係

      結構體中每個變量的分析,參考文章:

      FFMPEG結構體分析:AVFrame

      FFMPEG結構體分析:AVFormatContext
      FFMPEG結構體分析:AVCodecContext
      FFMPEG結構體分析:AVIOContext
      FFMPEG結構體分析:AVCodec
      FFMPEG結構體分析:AVStream
      FFMPEG結構體分析:AVPacket


      3. ffmpeg庫的使用:音頻播放器

      3.1 最簡單的音頻播放器

      學習文章最簡單的基於FFMPEG+SDL的音頻播放器 中的代碼,和最簡單的視頻播放器一樣,這是最簡單的音頻播放器,每一行代碼都很重要。

      原版是基於SDL1.2的音頻播放器,後來更新了一個基於SDL2.0的最簡單的音頻播放器:最簡單的基於FFMPEG+SDL的音頻播放器 ver2 (採用SDL2.0)


      注:如果想要查看解碼後的數據(PCM數據),需要用到Audition。

      4. ffmpeg庫的使用:一個真正的播放器——ffplay

      4.1 真正的播放器

      ffplay流程圖如文章FFplay源代碼分析:整體流程圖 所示。ffplay代碼比較複雜,但是其核心代碼和100行代碼實現最簡單的基於FFMPEG+SDL的視頻播放器 是一樣的。可以兩個工程結合着學習。

      ffplay代碼簡介資料:如何用FFmpeg編寫一個簡單播放器

      ffplay使用說明:ffplay的快捷鍵以及選項

      ffplay已經移植到VC下的工程:ffplay_vc2005(別人做的,質量很不錯)

      ffplay移植到MFC下的工程,包含了簡單的圖形界面和一些控制按鈕:ffplay播放器移植VC的工程:ffplay for MFC

      上述軟件的代碼簡介:ffplay for mfc 代碼備忘

      ffplay.c函數結構簡單分析:ffplay.c函數結構簡單分析(畫圖)

      5. ffmpeg庫的使用:編碼

      5.1 編碼

      ffmpeg編碼我自己研究的不是很多,可以參考文章 :使用FFmpeg類庫實現YUV視頻序列編碼爲視頻

      上面那篇文章是用的類庫比較舊,新版類庫的的使用可以參考下面幾篇文章。

      圖像的編碼可以參考:最簡單的基於FFMPEG的圖像編碼器(YUV編碼爲JPEG)

      音頻的編碼可以參考:最簡單的基於FFMPEG的音頻編碼器(PCM編碼爲AAC)

      視頻的編碼可以參考:最簡單的基於FFMPEG的視頻編碼器(YUV編碼爲H.264)

      HEVC(H.265)視頻編碼可以參考:最簡單的基於FFmpeg的視頻編碼器-更新版(YUV編碼爲HEVC(H.265))

      上述編碼器使用libavformat和libavcodec兩個類庫完成了視頻的編碼工作。實際上編碼工作只需要libavcodec就可以了。因此更新了一個“純淨”的編碼器。該編碼器只使用libavcodec完成編碼工作: 最簡單的基於FFmpeg的編碼器-純淨版(不包含libavformat)

      5.2 轉碼

      轉碼實際上是先解碼然後編碼。

      不進行轉碼,只進行封裝格式轉換的程序可參考:最簡單的基於FFMPEG的封裝格式轉換器(無編解碼)

      轉碼程序可參考:最簡單的基於FFMPEG的轉碼程序

      比較複雜的轉碼程序可以參考ffmpeg.c,它移植到MFC下的工程:ffmpeg轉碼器移植VC的工程:ffmpeg for MFC

      ffmpeg.c函數結構簡單分析:ffmpeg.c函數結構簡單分析(畫圖)


      6. ffmpeg源代碼分析

      通曉了ffmpeg庫的使用以後,可以看一下ffmpeg的源代碼。注意ffmpeg的源代碼只有在linux下才能編譯,在windows下可以使用MinGW進行編譯。推薦使用Eclipse查看ffmpeg的源代碼。

      有一個很完整的ffmpeg源代碼的分析文檔:ffdoc


      FFmpeg的庫函數源代碼分析文章列表如下:


      【架構圖】

      FFmpeg源代碼結構圖 - 解碼

      FFmpeg源代碼結構圖 - 編碼

      【通用】

      FFmpeg 源代碼簡單分析:av_register_all()

      FFmpeg 源代碼簡單分析:avcodec_register_all()

      FFmpeg 源代碼簡單分析:內存的分配和釋放(av_malloc()av_free()等)

      FFmpeg 源代碼簡單分析:常見結構體的初始化和銷燬(AVFormatContextAVFrame等)

      FFmpeg 源代碼簡單分析:avio_open2()

      FFmpeg 源代碼簡單分析:av_find_decoder()av_find_encoder()

      FFmpeg 源代碼簡單分析:avcodec_open2()

      FFmpeg 源代碼簡單分析:avcodec_close()

      【解碼】

      圖解FFMPEG打開媒體的函數avformat_open_input

      FFmpeg 源代碼簡單分析:avformat_open_input()

      FFmpeg 源代碼簡單分析:avformat_find_stream_info()

      FFmpeg 源代碼簡單分析:av_read_frame()

      FFmpeg 源代碼簡單分析:avcodec_decode_video2()

      FFmpeg 源代碼簡單分析:avformat_close_input()

      【編碼】

      FFmpeg 源代碼簡單分析:avformat_alloc_output_context2()

      FFmpeg 源代碼簡單分析:avformat_write_header()

      FFmpeg 源代碼簡單分析:avcodec_encode_video()

      FFmpeg 源代碼簡單分析:av_write_frame()

      FFmpeg 源代碼簡單分析:av_write_trailer()

      【其它】

      FFmpeg源代碼簡單分析:日誌輸出系統(av_log()等)

      FFmpeg源代碼簡單分析:結構體成員管理系統-AVClass

      FFmpeg源代碼簡單分析:結構體成員管理系統-AVOption

      FFmpeg源代碼簡單分析:libswscalesws_getContext()

      FFmpeg源代碼簡單分析:libswscalesws_scale()

      FFmpeg源代碼簡單分析:libavdeviceavdevice_register_all()

      FFmpeg源代碼簡單分析:libavdevicegdigrab

      【腳本】

      FFmpeg源代碼簡單分析:makefile

      FFmpeg源代碼簡單分析:configure

      偏底層的libavcodec的源代碼分析文章列表如下:

      【解碼- libavcodec H.264 解碼器】

      FFmpeg的H.264解碼器源代碼簡單分析:概述

      FFmpeg的H.264解碼器源代碼簡單分析:解析器(Parser)部分

      FFmpeg的H.264解碼器源代碼簡單分析:解碼器主幹部分

      FFmpeg的H.264解碼器源代碼簡單分析:熵解碼(EntropyDecoding)部分

      FFmpeg的H.264解碼器源代碼簡單分析:宏塊解碼(Decode)部分-幀內宏塊(Intra)

      FFmpeg的H.264解碼器源代碼簡單分析:宏塊解碼(Decode)部分-幀間宏塊(Inter)

      FFmpeg的H.264解碼器源代碼簡單分析:環路濾波(LoopFilter)部分

      【解碼-libavcodec HEVC 解碼器】

      FFmpeg的HEVC解碼器源代碼簡單分析:概述

      FFmpeg的HEVC解碼器源代碼簡單分析:解析器(Parser)部分

      FFmpeg的HEVC解碼器源代碼簡單分析:解碼器主幹部分

      FFmpeg的HEVC解碼器源代碼簡單分析:CTU解碼(CTUDecode)部分-PU

      FFmpeg的HEVC解碼器源代碼簡單分析:CTU解碼(CTU Decode)部分-TU

      FFmpeg的HEVC解碼器源代碼簡單分析:環路濾波(LoopFilter)



      7.FFmpeg其它幾個類庫的使用

      7.1.libavfilter(加特效)

      AVFilter可以給視音頻添加各種濾鏡效果。有兩個例子,一個是給視頻添加水印:

      最簡單的基於FFmpeg的AVfilter例子(水印疊加)

      另一個是給YUV數據加特效:

      最簡單的基於FFmpeg的AVfilter的例子-純淨版

      7.2.libavdevice(讀設備)

      AVDevice可以讀取電腦的多媒體設備的數據,或者輸出數據到指定的多媒體設備上。

      直接使用ffmpeg.exe命令行工具的文章:FFmpeg獲取DirectShow設備數據(攝像頭,錄屏)

      編程方面做了2個有關的例子:

      讀取攝像頭:最簡單的基於FFmpeg的AVDevice例子(讀取攝像頭)

      屏幕錄製:最簡單的基於FFmpeg的AVDevice例子(屏幕錄製)

      7.3.libswscale(圖像拉伸,像素格式轉換)

      Swscale類庫可以轉換像素數據的格式,同時可以拉伸圖像的大小。

      libswscale的使用示例: 最簡單的基於FFmpeg的libswscale的示例(YUV轉RGB)

      此外,這個示例還附帶了一個程序,用於生成測試圖片: 最簡單的基於FFmpeg的libswscale的示例附件:測試圖片生成工具

      8.FFmpeg封裝格式的處理

      使用FFmpeg進行封裝格式的處理,主要是通過AVFormat完成。有關封裝格式的處理,做了3個例子:

      封裝格式轉換器:最簡單的基於FFMPEG的封裝格式轉換器(無編解碼)

      視音頻分離器簡化版(demuxer-simple):最簡單的基於FFmpeg的封裝格式處理:視音頻分離器簡化版(demuxer-simple)

      視音頻分離器(demuxer):最簡單的基於FFmpeg的封裝格式處理:視音頻分離器(demuxer)

      視音頻複用器(muxer):最簡單的基於FFmpeg的封裝格式處理:視音頻複用器(muxer)

      9.FFmpeg流媒體方面的應用

      使用FFmpeg進行流媒體方面的應用,主要是流媒體的發送和接收。

      直接使用ffmpeg.exe命令行工具的文章:

      FFmpeg發送流媒體的命令(UDP,RTP,RTMP)

      編程方面做了一個例子:

      基於FFmpeg的推流器:最簡單的基於FFmpeg的推流器(以推送RTMP爲例)


      10.FFmpeg的其他雜項

      使用FFmpeg讀寫內存(而非文件)的例子:

      內存播放器:最簡單的基於FFmpeg的內存讀寫的例子:內存播放器

      內存轉碼器:最簡單的基於FFmpeg的內存讀寫的例子:內存轉碼器


      11. ffmpeg在其它平臺下的應用

      把FFmpeg應用於Android、IOS、Windows Phone的示例程序可以參考:

      最簡單的基於FFmpeg的移動端例子:Android HelloWorld

      最簡單的基於FFmpeg的移動端例子:Android 視頻解碼器

      最簡單的基於FFmpeg的移動端例子:Android 視頻解碼器-單個庫版

      最簡單的基於FFmpeg的移動端例子:Android 推流器

      最簡單的基於FFmpeg的移動端例子:Android 視頻轉碼器

      最簡單的基於FFmpeg的移動端例子附件:Android 自帶播放器

      最簡單的基於FFmpeg的移動端例子附件:SDL Android HelloWorld

      最簡單的基於FFmpeg的移動端例子:IOS HelloWorld

      最簡單的基於FFmpeg的移動端例子:IOS 視頻解碼器

      最簡單的基於FFmpeg的移動端例子:IOS 推流器

      最簡單的基於FFmpeg的移動端例子:IOS 視頻轉碼器

      最簡單的基於FFmpeg的移動端例子附件:IOS自帶播放器

      最簡單的基於FFmpeg的移動端例子:Windows PhoneHelloWorld



      12. ffmpeg相關工程的學習

      學習完成ffmpeg,還可以瞭解一下基於ffmpeg的相關的多媒體開源工程,在這裏推薦以下幾個:

      12.1 ffdshow

      ffdshow是基於ffmpeg的解碼器類庫libavcodec的DirectShow Filter。廣泛安裝在PC上。


      有關ffdshow的源代碼分析文章(更新中):

      ffdshow 源代碼分析1 : 整體結構
      ffdshow 源代碼分析 2: 位圖覆蓋濾鏡(對話框部分Dialog)

      ffdshow 源代碼分析 3: 位圖覆蓋濾鏡(設置部分Settings)
      ffdshow 源代碼分析 4: 位圖覆蓋濾鏡(濾鏡部分Filter)
      ffdshow 源代碼分析 5: 位圖覆蓋濾鏡(總結)
      ffdshow 源代碼分析 6: 對解碼器的dll的封裝(libavcodec)
      ffdshow 源代碼分析 7: libavcodec視頻解碼器類(TvideoCodecLibavcodec)
      ffdshow 源代碼分析 8: 視頻解碼器類(TvideoCodecDec)
      ffdshow 源代碼分析 9: 編解碼器有關類的總結

      12.2 LAV filters

      LAV Filter是基於ffmpeg的解碼器類庫libavcodec,以及解封裝器類庫libavformat的DirectShow Filter。廣泛安裝在PC上。

      有關LAV Filter的源代碼分析文章:

      LAV Filter 源代碼分析 1: 總體結構

      LAV Filter 源代碼分析 2: LAV Splitter

      LAV Filter 源代碼分析 3: LAV Video (1)

      LAV Filter 源代碼分析 4: LAV Video (2)


      12.3 Mplayer

      Mplayer是Linux下使用最廣泛的播放器,也有Windows版本的。其中使用了ffmpeg。


      有關Mplayer的源代碼分析文章:

      MPlayer源代碼分析

      12.4 Media Player Classic - HC

      現在廣爲使用很多播放器都是構建於Media Player Classic - HC的基礎之上的。


      有關Media Player Classic - HC的源代碼分析文章:

      Media Player Classic - HC 源代碼分析 1:整體結構
      Media Player Classic - HC 源代碼分析 2:核心類 (CMainFrame)(1)
      Media Player Classic - HC 源代碼分析 3:核心類 (CMainFrame)(2)
      Media Player Classic - HC 源代碼分析 4:核心類 (CMainFrame)(3)
      Media Player Classic - HC 源代碼分析 5:關於對話框 (CAboutDlg)
      Media Player Classic - HC 源代碼分析 6:MediaInfo選項卡 (CPPageFileMediaInfo)
      Media Player Classic - HC 源代碼分析 7:詳細信息選項卡(CPPageFileInfoDetails)

      12.5 XBMC

      XBMC是一個優秀的自由和開源的(GPL)媒體中心軟件。


      有關XBMC源代碼分析文章:

      XBMC源代碼分析 1:整體結構以及編譯方法

      XBMC源代碼分析 2:Addons(皮膚Skin)

      XBMC源代碼分析 3:核心部分(core)-綜述

      XBMC源代碼分析 4:視頻播放器(dvdplayer)-解碼器(以ffmpeg爲例)

      XBMC源代碼簡析 5:視頻播放器(dvdplayer)-解複用器(以ffmpeg爲例)

      XBMC源代碼分析 6:視頻播放器(dvdplayer)-文件頭(以ffmpeg爲例)

      XBMC源代碼分析 7:視頻播放器(dvdplayer)-輸入流(以libRTMP爲例)


                      </div>
      
      • 1
      發表評論
      所有評論
      還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
      相關文章