前言
FFMPEG是特別強大的專門用於處理音視頻的開源庫。你既可以使用它的API對音視頻進行處理，也可以使用它提供的工具，如 ffmpeg, ffplay, ffprobe，來編輯你的音視頻文件。
本文將簡要介紹一下 FFMPEG 庫的基本目錄結構及其功能，然後詳細介紹一下我們在日常工作中，如何使用 ffmpeg 提供的工具來處理音視頻文件。
FFMPEG 目錄及作用
- libavcodec： 提供了一系列編碼器的實現。
- libavformat： 實現在流協議，容器格式及其本IO訪問。
- libavutil： 包括了hash器，解碼器和各利工具函數。
- libavfilter： 提供了各種音視頻過濾器。
- libavdevice： 提供了訪問捕獲設備和回放設備的接口。
- libswresample： 實現了混音和重採樣。
- libswscale： 實現了色彩轉換和縮放工能。
FFMPEG基本概念
在講解 FFMPEG 命令之前，我們先要介紹一些音視頻格式的基要概念。
- 音／視頻流
在音視頻領域，我們把一路音／視頻稱爲一路流。如我們小時候經常使用VCD看港片，在裏邊可以選擇粵語或國語聲音，其實就是CD視頻文件中存放了兩路音頻流，用戶可以選擇其中一路進行播放。
- 容器
我們一般把 MP4､ FLV、MOV等文件格式稱之爲容器。也就是在這些常用格式文件中，可以存放多路音視頻文件。以 MP4 爲例，就可以存放一路視頻流，多路音頻流，多路字幕流。
- channel
channel是音頻中的概念，稱之爲聲道。在一路音頻流中，可以有單聲道，雙聲道或立體聲。
FFMPEG 命令
我們按使用目的可以將 FFMPEG 命令分成以下幾類：
- 基本信息查詢命令
- 錄製
- 分解/複用
- 處理原始數據
- 濾鏡
- 切割與合併
- 圖／視互轉
- 直播相關
除了 FFMPEG 的基本信息查詢命令外，其它命令都按下圖所示的流程處理音視頻。
然後將編碼的數據包傳送給解碼器（除非爲數據流選擇了流拷貝，請參閱進一步描述）。 解碼器產生未壓縮的幀（原始視頻/ PCM音頻/ ...），可以通過濾波進一步處理（見下一節）。 在過濾之後，幀被傳遞到編碼器，編碼器並輸出編碼的數據包。 最後，這些傳遞給複用器，將編碼的數據包寫入輸出文件。
默認情況下，ffmpeg只包含輸入文件中每種類型（視頻，音頻，字幕）的一個流，並將其添加到每個輸出文件中。 它根據以下標準挑選每一個的“最佳”：對於視頻，它是具有最高分辨率的流，對於音頻，它是具有最多channel的流，對於字幕，是第一個字幕流。 在相同類型的幾個流相等的情況下，選擇具有最低索引的流。
您可以通過使用-vn / -an / -sn / -dn選項來禁用某些默認設置。 要進行全面的手動控制，請使用-map選項，該選項禁用剛描述的默認設置。
下面我們就來詳細介紹一下這些命令。
基本信息查詢命令
FFMPEG 可以使用下面的參數進行基本信息查詢。例如，想查詢一下現在使用的 FFMPEG 都支持哪些 filter，就可以用 ffmpeg -filters 來查詢。詳細參數說明如下：
|
參數 |
說明 |
|
-version |
顯示版本。 |
|
-formats |
顯示可用的格式（包括設備）。 |
|
-demuxers |
顯示可用的demuxers。 |
|
-muxers |
顯示可用的muxers。 |
|
-devices |
顯示可用的設備。 |
|
-codecs |
顯示libavcodec已知的所有編解碼器。 |
|
-decoders |
顯示可用的解碼器。 |
|
-encoders |
顯示所有可用的編碼器。 |
|
-bsfs |
顯示可用的比特流filter。 |
|
-protocols |
顯示可用的協議。 |
|
-filters |
顯示可用的libavfilter過濾器。 |
|
-pix_fmts |
顯示可用的像素格式。 |
|
-sample_fmts |
顯示可用的採樣格式。 |
|
-layouts |
顯示channel名稱和標準channel佈局。 |
|
-colors |
顯示識別的顏色名稱。 |
接下來介紹的是 FFMPEG 處理音視頻時使用的命令格式與參數。
命令基本格式及參數
下面是 FFMPEG 的基本命令格式：
ffmpeg [global_options] {[input_file_options] -i input_url} ...
{[output_file_options] output_url} ...
ffmpeg 通過 -i 選項讀取輸任意數量的輸入“文件”（可以是常規文件，管道，網絡流，抓取設備等，並寫入任意數量的輸出“文件”。
原則上，每個輸入/輸出“文件”都可以包含任意數量的不同類型的視頻流（視頻/音頻/字幕/附件/數據）。 流的數量和/或類型是由容器格式來限制。 選擇從哪個輸入進入到哪個輸出將自動完成或使用 -map 選項。
要引用選項中的輸入文件，您必須使用它們的索引（從0開始）。 例如。 第一個輸入文件是0，第二個輸入文件是1，等等。類似地，文件內的流被它們的索引引用。 例如。 2：3是指第三個輸入文件中的第四個流。
上面就是 FFMPEG 處理音視頻的常用命令，下面是一些常用參數：
主要參數
|
參數 |
說明 |
|
-f fmt（輸入/輸出） |
強制輸入或輸出文件格式。 格式通常是自動檢測輸入文件，並從輸出文件的文件擴展名中猜測出來，所以在大多數情況下這個選項是不需要的。 |
|
-i url（輸入） |
輸入文件的網址 |
|
-y（全局參數） |
覆蓋輸出文件而不詢問。 |
|
-n（全局參數） |
不要覆蓋輸出文件，如果指定的輸出文件已經存在，請立即退出。 |
|
-c [：stream_specifier] codec（輸入/輸出，每個流） |
選擇一個編碼器（當在輸出文件之前使用）或解碼器（當在輸入文件之前使用時）用於一個或多個流。codec 是解碼器/編碼器的名稱或 copy（僅輸出）以指示該流不被重新編碼。如：ffmpeg -i INPUT -map 0 -c:v libx264 -c:a copy OUTPUT |
|
-codec [：stream_specifier]編解碼器（輸入/輸出，每個流） |
同 -c |
|
-t duration（輸入/輸出） |
當用作輸入選項（在-i之前）時，限制從輸入文件讀取的數據的持續時間。當用作輸出選項時（在輸出url之前），在持續時間到達持續時間之後停止輸出。 |
|
-ss位置（輸入/輸出） |
當用作輸入選項時（在-i之前），在這個輸入文件中尋找位置。 請注意，在大多數格式中，不可能精確搜索，因此ffmpeg將在位置之前尋找最近的搜索點。 當轉碼和-accurate_seek被啓用時（默認），搜索點和位置之間的這個額外的分段將被解碼和丟棄。 當進行流式複製或使用-noaccurate_seek時，它將被保留。當用作輸出選項（在輸出url之前）時，解碼但丟棄輸入，直到時間戳到達位置。 |
|
-frames [：stream_specifier] framecount（output，per-stream） |
停止在幀計數幀之後寫入流。 |
|
-filter [：stream_specifier] filtergraph（output，per-stream） |
創建由filtergraph指定的過濾器圖，並使用它來過濾流。filtergraph是應用於流的filtergraph的描述，並且必須具有相同類型的流的單個輸入和單個輸出。在過濾器圖形中，輸入與標籤中的標籤相關聯，標籤中的輸出與標籤相關聯。有關filtergraph語法的更多信息，請參閱ffmpeg-filters手冊。 |
視頻參數
|
參數 |
說明 |
|
-vframes num（輸出） |
設置要輸出的視頻幀的數量。對於-frames：v，這是一個過時的別名，您應該使用它。 |
|
-r [：stream_specifier] fps（輸入/輸出，每個流） |
設置幀率（Hz值，分數或縮寫）。作爲輸入選項，忽略存儲在文件中的任何時間戳，根據速率生成新的時間戳。這與用於-framerate選項不同（它在FFmpeg的舊版本中使用的是相同的）。如果有疑問，請使用-framerate而不是輸入選項-r。作爲輸出選項，複製或丟棄輸入幀以實現恆定輸出幀頻fps。 |
|
-s [：stream_specifier]大小（輸入/輸出，每個流） |
設置窗口大小。作爲輸入選項，這是video_size專用選項的快捷方式，由某些分幀器識別，其幀尺寸未被存儲在文件中。作爲輸出選項，這會將縮放視頻過濾器插入到相應過濾器圖形的末尾。請直接使用比例過濾器將其插入到開頭或其他地方。格式是'wxh'（默認 - 與源相同）。 |
|
-aspect [：stream_specifier] 寬高比（輸出，每個流） |
設置方面指定的視頻顯示寬高比。aspect可以是浮點數字符串，也可以是num：den形式的字符串，其中num和den是寬高比的分子和分母。例如“4：3”，“16：9”，“1.3333”和“1.7777”是有效的參數值。如果與-vcodec副本一起使用，則會影響存儲在容器級別的寬高比，但不會影響存儲在編碼幀中的寬高比（如果存在）。 |
|
-vn（輸出） |
禁用視頻錄製。 |
|
-vcodec編解碼器（輸出） |
設置視頻編解碼器。這是-codec：v的別名。 |
|
-vf filtergraph（輸出） |
創建由filtergraph指定的過濾器圖，並使用它來過濾流。 |
音頻參數
|
參數 |
說明 |
|
-aframes（輸出） |
設置要輸出的音頻幀的數量。這是-frames：a的一個過時的別名。 |
|
-ar [：stream_specifier] freq（輸入/輸出，每個流） |
設置音頻採樣頻率。對於輸出流，它默認設置爲相應輸入流的頻率。對於輸入流，此選項僅適用於音頻捕獲設備和原始分路器，並映射到相應的分路器選件。 |
|
-ac [：stream_specifier]通道（輸入/輸出，每個流） |
設置音頻通道的數量。對於輸出流，它默認設置爲輸入音頻通道的數量。對於輸入流，此選項僅適用於音頻捕獲設備和原始分路器，並映射到相應的分路器選件。 |
|
-an（輸出） |
禁用錄音。 |
|
-acodec編解碼器（輸入/輸出） |
設置音頻編解碼器。這是-codec的別名：a。 |
|
-sample_fmt [：stream_specifier] sample_fmt（輸出，每個流） |
設置音頻採樣格式。使用-sample_fmts獲取支持的樣本格式列表。 |
|
-af filtergraph（輸出） |
創建由filtergraph指定的過濾器圖，並使用它來過濾流。 |
瞭解了這些基本信息後，接下來我們看看 FFMPEG 具體都能幹些什麼吧。
錄製
首先通過下面的命令查看一下 mac 上都有哪些設備。
ffmpeg -f avfoundation -list_devices true -i ""
錄屏
ffmpeg -f avfoundation -i 1 -r 30 out.yuv
- -f 指定使用 avfoundation 採集數據。
- -i 指定從哪兒採集數據，它是一個文件索引號。在我的MAC上，1代表桌面（可以通過上面的命令查詢設備索引號）。
- -r 指定幀率。按ffmpeg官方文檔說-r與-framerate作用相同，但實際測試時發現不同。-framerate 用於限制輸入，而-r用於限制輸出。
注意，桌面的輸入對幀率沒有要求，所以不用限制桌面的幀率。其實限制了也沒用。
錄屏+聲音
ffmpeg -f avfoundation -i 1:0 -r 29.97 -c:v libx264 -crf 0 -c:a libfdk_aac -profile:a aac_he_v2 -b:a 32k out.flv
- -i 1:0 冒號前面的 "1" 代表的屏幕索引號。冒號後面的"0"代表的聲音索相號。
- -c:v 與參數 -vcodec 一樣，表示視頻編碼器。c 是 codec 的縮寫，v 是video的縮寫。
- -crf 是 x264 的參數。 0 表式無損壓縮。
- -c:a 與參數 -acodec 一樣，表示音頻編碼器。
- -profile 是 fdk_aac 的參數。 aac_he_v2 表式使用 AAC_HE v2 壓縮數據。
- -b:a 指定音頻碼率。 b 是 bitrate的縮寫, a是 audio的縮與。
錄視頻
ffmpeg -framerate 30 -f avfoundation -i 0 out.mp4
- -framerate 限制視頻的採集幀率。這個必須要根據提示要求進行設置，如果不設置就會報錯。
- -f 指定使用 avfoundation 採集數據。
- -i 指定視頻設備的索引號。
視頻+音頻
ffmpeg -framerate 30 -f avfoundation -i 0:0 out.mp4
錄音
ffmpeg -f avfoundation -i :0 out.wav
錄製音頻裸數據
ffmpeg -f avfoundation -i :0 -ar 44100 -f s16le out.pcm
分解與複用
流拷貝是通過將 copy 參數提供給-codec選項來選擇流的模式。它使得ffmpeg省略了指定流的解碼和編碼步驟，所以它只能進行多路分解和多路複用。 這對於更改容器格式或修改容器級元數據很有用。 在這種情況下，上圖將簡化爲：
由於沒有解碼或編碼，速度非常快，沒有質量損失。 但是，由於許多因素，在某些情況下可能無法正常工作。 應用過濾器顯然也是不可能的，因爲過濾器處理未壓縮的數據。
抽取音頻流
ffmpeg -i input.mp4 -acodec copy -vn out.aac
- acodec: 指定音頻編碼器，copy 指明只拷貝，不做編解碼。
- vn: v 代表視頻，n 代表 no 也就是無視頻的意思。
抽取視頻流
ffmpeg -i input.mp4 -vcodec copy -an out.h264
- vcodec: 指定視頻編碼器，copy 指明只拷貝，不做編解碼。
- an: a 代表視頻，n 代表 no 也就是無音頻的意思。
轉格式
ffmpeg -i out.mp4 -vcodec copy -acodec copy out.flv
上面的命令表式的是音頻、視頻都直接 copy，只是將 mp4 的封裝格式轉成了flv。
音視頻合併
ffmpeg -i out.h264 -i out.aac -vcodec copy -acodec copy out.mp4
處理原始數據
提取YUV數據
ffmpeg -i input.mp4 -an -c:v rawvideo -pixel_format yuv420p out.yuv
ffplay -s wxh out.yuv
- -c:v rawvideo 指定將視頻轉成原始數據
- -pixel_format yuv420p 指定轉換格式爲yuv420p
YUV轉H264
ffmpeg -f rawvideo -pix_fmt yuv420p -s 320x240 -r 30 -i out.yuv -c:v libx264 -f rawvideo out.h264
提取PCM數據
ffmpeg -i out.mp4 -vn -ar 44100 -ac 2 -f s16le out.pcm
ffplay -ar 44100 -ac 2 -f s16le -i out.pcm
PCM轉WAV
ffmpeg -f s16be -ar 8000 -ac 2 -acodec pcm_s16be -i input.raw output.wav
濾鏡
在編碼之前，ffmpeg可以使用libavfilter庫中的過濾器處理原始音頻和視頻幀。 幾個鏈式過濾器形成一個過濾器圖形。 ffmpeg區分兩種類型的過濾器圖形：簡單和複雜。
簡單濾鏡
簡單的過濾器圖是那些只有一個輸入和輸出，都是相同的類型。 在上面的圖中，它們可以通過在解碼和編碼之間插入一個額外的步驟來表示：
簡單的filtergraphs配置了per-stream-filter選項（分別爲視頻和音頻使用-vf和-af別名）。 一個簡單的視頻filtergraph可以看起來像這樣的例子：
請注意，某些濾鏡會更改幀屬性，但不會改變幀內容。 例如。 上例中的fps過濾器會改變幀數，但不會觸及幀內容。 另一個例子是setpts過濾器，它只設置時間戳，否則不改變幀。
複雜濾鏡
複雜的過濾器圖是那些不能簡單描述爲應用於一個流的線性處理鏈的過濾器圖。 例如，當圖形有多個輸入和/或輸出，或者當輸出流類型與輸入不同時，就是這種情況。 他們可以用下圖來表示：
複雜的過濾器圖使用-filter_complex選項進行配置。 請注意，此選項是全局性的，因爲複雜的過濾器圖形本質上不能與單個流或文件明確關聯。
-lavfi選項等同於-filter_complex。
一個複雜的過濾器圖的一個簡單的例子是覆蓋過濾器，它有兩個視頻輸入和一個視頻輸出，包含一個視頻疊加在另一個上面。 它的音頻對應是amix濾波器。
添加水印
ffmpeg -i out.mp4 -vf "movie=logo.png,scale=64:48[watermask];[in][watermask] overlay=30:10 [out]" water.mp4
- -vf中的 movie 指定logo位置。scale 指定 logo 大小。overlay 指定 logo 擺放的位置。
刪除水印
先通過 ffplay 找到要刪除 LOGO 的位置
ffplay -i test.flv -vf delogo=x=806:y=20:w=70:h=80:show=1
使用 delogo 濾鏡刪除 LOGO
ffmpeg -i test.flv -vf delogo=x=806:y=20:w=70:h=80 output.flv
視頻縮小一倍
ffmpeg -i out.mp4 -vf scale=iw/2:-1 scale.mp4
- -vf scale 指定使用簡單過濾器 scale，iw/2:-1 中的 iw 指定按整型取視頻的寬度。 -1 表示高度隨寬度一起變化。
視頻裁剪
ffmpeg -i VR.mov -vf crop=in_w-200:in_h-200 -c:v libx264 -c:a copy -video_size 1280x720 vr_new.mp4
crop 格式：crop=out_w:out_h:x:y
- out_w: 輸出的寬度。可以使用 in_w 表式輸入視頻的寬度。
- out_h: 輸出的高度。可以使用 in_h 表式輸入視頻的高度。
- x : X座標
- y : Y座標
如果 x和y 設置爲 0,說明從左上角開始裁剪。如果不寫是從中心點裁剪。
倍速播放
ffmpeg -i out.mp4 -filter_complex "[0:v]setpts=0.5*PTS[v];[0:a]atempo=2.0[a]" -map "[v]" -map "[a]" speed2.0.mp4
- -filter_complex 複雜濾鏡，[0:v]表示第一個（文件索引號是0）文件的視頻作爲輸入。setpts=0.5*PTS表示每幀視頻的pts時間戳都乘0.5 ，也就是差少一半。[v]表示輸出的別名。音頻同理就不詳述了。
- map 可用於處理複雜輸出，如可以將指定的多路流輸出到一個輸出文件，也可以指定輸出到多個文件。"[v]" 複雜濾鏡輸出的別名作爲輸出文件的一路流。上面 map的用法是將複雜濾鏡輸出的視頻和音頻輸出到指定文件中。
對稱視頻
ffmpeg -i out.mp4 -filter_complex "[0:v]pad=w=2*iw[a];[0:v]hflip[b];[a][b]overlay=x=w" duicheng.mp4
- hflip 水平翻轉
如果要修改爲垂直翻轉可以用vflip。
畫中畫
ffmpeg -i out.mp4 -i out1.mp4 -filter_complex "[1:v]scale=w=176:h=144:force_original_aspect_ratio=decrease[ckout];[0:v][ckout]overlay=x=W-w-10:y=0[out]" -map "[out]" -movflags faststart new.mp4
錄製畫中畫
ffmpeg -f avfoundation -i "1" -framerate 30 -f avfoundation -i "0:0"
-r 30 -c:v libx264 -preset ultrafast
-c:a libfdk_aac -profile:a aac_he_v2 -ar 44100 -ac 2
-filter_complex "[1:v]scale=w=176:h=144:force_original_aspect_ratio=decrease[a];[0:v][a]overlay=x=W-w-10:y=0[out]"
-map "[out]" -movflags faststart -map 1:a b.mp4
多路視頻拼接
ffmpeg -f avfoundation -i "1" -framerate 30 -f avfoundation -i "0:0" -r 30 -c:v libx264 -preset ultrafast -c:a libfdk_aac -profile:a aac_he_v2 -ar 44100 -ac 2 -filter_complex "[0:v]scale=320:240[a];[a]pad=640:240[b];[b][1:v]overlay=320:0[out]" -map "[out]" -movflags faststart -map 1:a c.mp4
音視頻的拼接與裁剪
裁剪
ffmpeg -i out.mp4 -ss 00:00:00 -t 10 out1.mp4
- -ss 指定裁剪的開始時間，精確到秒
- -t 被裁剪後的時長。
合併
首先創建一個 inputs.txt 文件，文件內容如下：
file '1.flv'
file '2.flv'
file '3.flv'
然後執行下面的命令：
ffmpeg -f concat -i inputs.txt -c copy output.flv
hls切片
ffmpeg -i out.mp4 -c:v libx264 -c:a libfdk_aac -strict -2 -f hls out.m3u8
- -strict -2 指明音頻使有AAC。
- -f hls 轉成 m3u8 格式。
視頻圖片互轉
視頻轉JPEG
ffmpeg -i test.flv -r 1 -f image2 image-%3d.jpeg
視頻轉gif
ffmpeg -i out.mp4 -ss 00:00:00 -t 10 out.gif
圖片轉視頻
ffmpeg -f image2 -i image-%3d.jpeg images.mp4
直播相關
推流
ffmpeg -re -i out.mp4 -c copy -f flv rtmp://server/live/streamName
拉流保存
ffmpeg -i rtmp://server/live/streamName -c copy dump.flv
轉流
ffmpeg -i rtmp://server/live/originalStream -c:a copy -c:v copy -f flv rtmp://server/live/h264Stream
實時推流
ffmpeg -framerate 15 -f avfoundation -i "1" -s 1280x720 -c:v libx264 -f flv rtmp://localhost:1935/live/room
ffplay
播放YUV 數據
ffplay -pix_fmt nv12 -s 192x144 1.yuv
播放YUV中的 Y平面
ffplay -pix_fmt nv21 -s 640x480 -vf extractplanes='y' 1.yuv
/usr/local/ffmpeg/bin/ffmpeg -thread_queue_size 128 -f x11grab -video_size 1280x800 -framerate 30 -i :0.0 -i /dev/video0 test.mp4
/usr/local/ffmpeg/bin/ffmpeg -thread_queue_size 128 -video_size 1280x800 -framerate 30 -i /dev/video0 test.mp4