Qt音視頻開發05-保存視頻文件（yuv/h264/mp4）

一、前言

和音頻存儲類似，視頻的存儲也對應三種格式，視頻最原始的數據是yuv（音頻對應pcm），視頻壓縮後的數據是h264（音頻對應aac），由於很多播放器或者早期的播放器不支持直接播放h264文件，所以需要用編碼器編碼成mp4格式，這塊就需要用到ffmpeg裏面一整套的編碼流程，對yuv數據進行編碼成MP4格式存儲。

在經過對各種視頻文件或者視頻流保存的過程中，發現rtsp這類的視頻流可以直接編碼打包存儲，不需要經過 avcodec_send_frame avcodec_receive_packet 這兩個步驟對每個包編碼，這樣可以極大的降低CPU佔用，猜測可能是rtsp視頻流收到的數據包packet就已經是標準的h264裸流帶了各種pps啥的。所以視頻監控領域如果要同時存儲16路32路視頻，採用這個策略是最穩妥的，相當於一直寫文件。很多人會覺得編碼流程繁瑣，其實只要靜下心來，挨個測試，把流程搞懂，基本上都是水到渠成的事情。包括之前遇到的保存的文件鼠標右鍵屬性中看不到分辨率等參數信息，原來是調用寫入文件頭 avformat_write_header 寫入的時機不對，一定要在打開打開視頻編碼器 avcodec_open2 以及打開輸出文件 avio_open 以後再寫入。

編碼保存的大致流程：

查找編碼器 avcodec_find_encoder
創建編碼器 avcodec_alloc_context3
設置編碼器 pix_fmt/time_base/framerate/width/height
打開編碼器 avcodec_open2
創建上下文 avformat_alloc_output_context2
創建輸出流 avformat_new_stream
設置流參數 avcodec_parameters_from_context
寫入開始符 avformat_write_header
發送數據幀 avcodec_send_frame
打包數據幀 avcodec_receive_packet
寫入數據幀 av_interleaved_write_frame
寫入結尾符 av_write_trailer
釋放各資源 avcodec_free_context/avio_close/avformat_free_context

二、效果圖

三、體驗地址

國內站點：https://gitee.com/feiyangqingyun
國際站點：https://github.com/feiyangqingyun
個人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
體驗地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取碼：01jf 文件名：bin_video_demo/bin_linux_video。

四、相關代碼

bool FFmpegSave::initVideoH264()
{
    //查找視頻編碼器(如果源頭是H265則採用HEVC作爲編碼器)
    AVCodecID codecID = FFmpegHelper::getCodecID(videoStreamIn);
    if (codecID == AV_CODEC_ID_HEVC) {
        videoCodec = avcodec_find_encoder(AV_CODEC_ID_HEVC);
    } else {
        videoCodec = avcodec_find_encoder(AV_CODEC_ID_H264);
    }

    if (!videoCodec) {
        debug("編碼失敗", QString("錯誤: 查找視頻編碼器失敗"));
        return false;
    }

    //創建視頻編碼器上下文
    videoCodecCtx = avcodec_alloc_context3(videoCodec);
    if (!videoCodecCtx) {
        debug("編碼失敗", QString("錯誤: 創建視頻編碼器上下文失敗"));
        return false;
    }

    //爲了兼容低版本的編譯器推薦選擇第一種方式
#if 1
    //放大係數是爲了小數位能夠正確放大到整型
    int ratio = 10000;
    videoCodecCtx->time_base.num = 1 * ratio;
    videoCodecCtx->time_base.den = frameRate * ratio;
    videoCodecCtx->framerate.num = frameRate * ratio;
    videoCodecCtx->framerate.den = 1 * ratio;
#elif 0
    videoCodecCtx->time_base = {1, frameRate};
    videoCodecCtx->framerate = {frameRate, 1};
#else
    videoCodecCtx->time_base = videoStreamIn->codec->time_base;
    videoCodecCtx->framerate = videoStreamIn->codec->framerate;
#endif

#if 0
    videoCodecCtx->qmin = 10;
    videoCodecCtx->qmax = 51;
    videoCodecCtx->me_range = 16;
    videoCodecCtx->max_qdiff = 4;
    videoCodecCtx->qcompress = 0.6;
#endif

    //初始化視頻編碼器參數(如果要文件體積小一些畫質差一些可以調整碼率)
    //參數說明 https://blog.csdn.net/qq_40179458/article/details/110449653
    videoCodecCtx->bit_rate = FFmpegHelper::getBitRate(videoWidth, videoHeight);
    videoCodecCtx->width = videoWidth;
    videoCodecCtx->height = videoHeight;
    videoCodecCtx->gop_size = 25;
    videoCodecCtx->max_b_frames = 3;
    videoCodecCtx->pix_fmt = AV_PIX_FMT_YUV420P;
    videoCodecCtx->level = 50;
    videoCodecCtx->profile = FF_PROFILE_H264_MAIN;

    //加上下面這個才能在文件屬性中看到分辨率等信息 https://www.cnblogs.com/lidabo/p/15754031.html
    if (saveVideoType == SaveVideoType_Mp4) {
        videoCodecCtx->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
    }

    //加載預設 https://blog.csdn.net/JineD/article/details/125304570
    if (videoCodecCtx->codec_id == AV_CODEC_ID_H264) {
        av_opt_set(videoCodecCtx->priv_data, "preset", "slow", 0);
        //設置零延遲(本地攝像頭視頻流保存如果不設置則播放的時候會越來越模糊)
        av_opt_set(videoCodecCtx->priv_data, "tune", "zerolatency", 0);
    } else if (videoCodecCtx->codec_id == AV_CODEC_ID_HEVC) {
        av_opt_set(videoCodecCtx->priv_data, "x265-params", "qp=20", 0);
        av_opt_set(videoCodecCtx->priv_data, "preset", "ultrafast", 0);
        av_opt_set(videoCodecCtx->priv_data, "tune", "zero-latency", 0);
    }

    //打開視頻編碼器
    int result = avcodec_open2(videoCodecCtx, videoCodec, NULL);
    if (result < 0) {
        debug("打開編碼", QString("錯誤: 打開視頻編碼器失敗 %1").arg(FFmpegHelper::getError(result)));
        return false;
    }

    videoPacket = FFmpegHelper::creatPacket(NULL);
    return true;
}

bool FFmpegSave::initVideoMp4()
{
    //必須先設置過輸入視頻流
    if (!videoStreamIn || fileName.isEmpty()) {
        return false;
    }

    //有部分視頻參數不正確保存不了 http://tv.netxt.cc:1998/live/y.flv
    if (videoStreamIn->time_base.num == 0) {
        return false;
    }

    QByteArray fileData = fileName.toUtf8();
    const char *filename = fileData.data();

    //開闢一個格式上下文用來處理視頻流輸出
    int result = avformat_alloc_output_context2(&formatCtx, NULL, "mp4", filename);
    if (result < 0) {
        debug("創建格式", QString("錯誤: %1").arg(FFmpegHelper::getError(result)));
        return false;
    }

    //創建視頻流用來輸出視頻數據到文件
    videoStreamOut = avformat_new_stream(formatCtx, NULL);
    result = FFmpegHelper::copyContext(videoCodecCtx, videoStreamOut, true);
    if (result < 0) {
        debug("創建視頻", QString("錯誤: %1").arg(FFmpegHelper::getError(result)));
        goto end;
    }

    //打開輸出文件
    result = avio_open(&formatCtx->pb, filename, AVIO_FLAG_WRITE);
    if (result < 0) {
        debug("打開輸出", QString("錯誤: %1").arg(FFmpegHelper::getError(result)));
        goto end;
    }

    //寫入文件開始符
    result = avformat_write_header(formatCtx, NULL);
    if (result < 0) {
        debug("寫入失敗", QString("錯誤: %1").arg(FFmpegHelper::getError(result)));
        goto end;
    }

    return true;

end:
    //關閉釋放並清理文件
    this->close();
    this->deleteFile(fileName);
    return false;
}

void FFmpegSave::writePacket(AVPacket *packet)
{
    packetCount++;
    if (saveVideoType == SaveVideoType_H264) {
        file.write((char *)packet->data, packet->size);
    } else if (saveVideoType == SaveVideoType_Mp4) {
        AVRational timeBaseIn = videoStreamIn->time_base;
        AVRational timeBaseOut = videoStreamOut->time_base;

        //沒有下面這段判斷在遇到不連續的幀的時候就會錯位(相當於每次重新計算時間基準保證時間正確)
        //不連續幀的情況有暫停錄製以及切換播放進度導致中間有些幀不需要錄製
        double fps = frameRate;//av_q2d(videoStreamIn->r_frame_rate);
        double duration = AV_TIME_BASE / fps;
        packet->pts = (packetCount * duration) / (av_q2d(timeBaseIn) * AV_TIME_BASE);
        packet->dts = packet->pts;
        packet->duration = duration / (av_q2d(timeBaseIn) * AV_TIME_BASE);

        //重新調整時間基準
        packet->pts = av_rescale_q_rnd(packet->pts, timeBaseIn, timeBaseOut, (AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
        packet->dts = packet->pts;
        //packet->dts = av_rescale_q_rnd(packet->dts, timeBaseIn, timeBaseOut, (AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
        packet->duration = av_rescale_q(packet->duration, timeBaseIn, timeBaseOut);
        packet->pos = -1;

        //寫入一幀數據
        int result = av_interleaved_write_frame(formatCtx, packet);
        if (result < 0) {
            debug("寫入失敗", QString("錯誤: %1").arg(FFmpegHelper::getError(result)));
        }
    }

    av_packet_unref(packet);
}

五、功能特點

5.1 基礎功能

支持各種音頻視頻文件格式，比如mp3、wav、mp4、asf、rm、rmvb、mkv等。
支持本地攝像頭設備，可指定分辨率、幀率。
支持各種視頻流格式，比如rtp、rtsp、rtmp、http等。
本地音視頻文件和網絡音視頻文件，自動識別文件長度、播放進度、音量大小、靜音狀態等。
文件可以指定播放位置、調節音量大小、設置靜音狀態等。
支持倍速播放文件，可選0.5倍、1.0倍、2.5倍、5.0倍等速度，相當於慢放和快放。
支持開始播放、停止播放、暫停播放、繼續播放。
支持抓拍截圖，可指定文件路徑，可選抓拍完成是否自動顯示預覽。
支持錄像存儲，手動開始錄像、停止錄像，部分內核支持暫停錄像後繼續錄像，跳過不需要錄像的部分。
支持無感知切換循環播放、自動重連等機制。
提供播放成功、播放完成、收到解碼圖片、收到抓拍圖片、視頻尺寸變化、錄像狀態變化等信號。
多線程處理，一個解碼一個線程，不卡主界面。

5.2 特色功能

同時支持多種解碼內核，包括qmedia內核（Qt4/Qt5/Qt6）、ffmpeg內核（ffmpeg2/ffmpeg3/ffmpeg4/ffmpeg5）、vlc內核（vlc2/vlc3）、mpv內核（mpv1/mp2）、海康sdk、easyplayer內核等。
非常完善的多重基類設計，新增一種解碼內核只需要實現極少的代碼量，就可以應用整套機制。
同時支持多種畫面顯示策略，自動調整（原始分辨率小於顯示控件尺寸則按照原始分辨率大小顯示，否則等比例縮放）、等比例縮放（永遠等比例縮放）、拉伸填充（永遠拉伸填充）。所有內核和所有視頻顯示模式下都支持三種畫面顯示策略。
同時支持多種視頻顯示模式，句柄模式（傳入控件句柄交給對方繪製控制）、繪製模式（回調拿到數據後轉成QImage用QPainter繪製）、GPU模式（回調拿到數據後轉成yuv用QOpenglWidget繪製）。
支持多種硬件加速類型，ffmpeg可選dxva2、d3d11va等，mpv可選auto、dxva2、d3d11va，vlc可選any、dxva2、d3d11va。不同的系統環境有不同的類型選擇，比如linux系統有vaapi、vdpau，macos系統有videotoolbox。
解碼線程和顯示窗體分離，可指定任意解碼內核掛載到任意顯示窗體，動態切換。
支持共享解碼線程，默認開啓並且自動處理，當識別到相同的視頻地址，共享一個解碼線程，在網絡視頻環境中可以大大節約網絡流量以及對方設備的推流壓力。國內頂尖視頻廠商均採用此策略。這樣只要拉一路視頻流就可以共享到幾十個幾百個通道展示。
自動識別視頻旋轉角度並繪製，比如手機上拍攝的視頻一般是旋轉了90度的，播放的時候要自動旋轉處理，不然默認是倒着的。
自動識別視頻流播放過程中分辨率的變化，在視頻控件上自動調整尺寸。比如攝像機可以在使用過程中動態配置分辨率，當分辨率改動後對應視頻控件也要做出同步反應。
音視頻文件無感知自動切換循環播放，不會出現切換期間黑屏等肉眼可見的切換痕跡。
視頻控件同時支持任意解碼內核、任意畫面顯示策略、任意視頻顯示模式。
視頻控件懸浮條同時支持句柄、繪製、GPU三種模式，非絕對座標移來移去。
本地攝像頭設備支持指定設備名稱、分辨率、幀率進行播放。
錄像文件同時支持打開的視頻文件、本地攝像頭、網絡視頻流等。
瞬間響應打開和關閉，無論是打開不存在的視頻或者網絡流，探測設備是否存在，讀取中的超時等待，收到關閉指令立即中斷之前的操作並響應。
支持打開各種圖片文件，支持本地音視頻文件拖曳播放。
視頻控件懸浮條自帶開始和停止錄像切換、聲音靜音切換、抓拍截圖、關閉視頻等功能。
音頻組件支持聲音波形值數據解析，可以根據該值繪製波形曲線和柱狀聲音條，默認提供了聲音振幅信號。
各組件中極其詳細的打印信息提示，尤其是報錯信息提示，封裝的統一打印格式。針對現場複雜的設備環境測試極其方便有用，相當於精確定位到具體哪個通道哪個步驟出錯。
代碼框架和結構優化到最優，性能強悍，持續迭代更新升級。
源碼支持Qt4、Qt5、Qt6，兼容所有版本。

5.3 視頻控件

可動態添加任意多個osd標籤信息，標籤信息包括名字、是否可見、字號大小、文本文字、文本顏色、標籤圖片、標籤座標、標籤格式（文本、日期、時間、日期時間、圖片）、標籤位置（左上角、左下角、右上角、右下角、居中、自定義座標）。
可動態添加任意多個圖形信息，這個非常有用，比如人工智能算法解析後的圖形區域信息直接發給視頻控件即可。圖形信息支持任意形狀，直接繪製在原始圖片上，採用絕對座標。
圖形信息包括名字、邊框大小、邊框顏色、背景顏色、矩形區域、路徑集合、點座標集合等。
每個圖形信息都可指定三種區域中的一種或者多種，指定了的都會繪製。
內置懸浮條控件，懸浮條位置支持頂部、底部、左側、右側。
懸浮條控件參數包括邊距、間距、背景透明度、背景顏色、文本顏色、按下顏色、位置、按鈕圖標代碼集合、按鈕名稱標識集合、按鈕提示信息集合。
懸浮條控件一排工具按鈕可自定義，通過結構體參數設置，圖標可選圖形字體還是自定義圖片。
懸浮條按鈕內部實現了錄像切換、抓拍截圖、靜音切換、關閉視頻等功能，也可以自行在源碼中增加自己對應的功能。
懸浮條按鈕對應實現了功能的按鈕，有對應圖標切換處理，比如錄像按鈕按下後會切換到正在錄像中的圖標，聲音按鈕切換後變成靜音圖標，再次切換還原。
懸浮條按鈕單擊後都用名稱唯一標識作爲信號發出，可以自行關聯響應處理。
懸浮條空白區域可以顯示提示信息，默認顯示當前視頻分辨率大小，可以增加幀率、碼流大小等信息。
視頻控件參數包括邊框大小、邊框顏色、焦點顏色、背景顏色（默認透明）、文字顏色（默認全局文字顏色）、填充顏色（視頻外的空白處填充黑色）、背景文字、背景圖片（如果設置了圖片優先取圖片）、是否拷貝圖片、縮放顯示模式（自動調整、等比例縮放、拉伸填充）、視頻顯示模式（句柄、繪製、GPU）、啓用懸浮條、懸浮條尺寸（橫向爲高度、縱向爲寬度）、懸浮條位置（頂部、底部、左側、右側）。

5.4 內核ffmpeg

支持各種音視頻文件、本地攝像頭設備，各種視頻流網絡流。
支持開始播放、暫停播放、繼續播放、停止播放、設置播放進度、倍速播放。
可設置音量、靜音切換、抓拍圖片、錄像存儲。
自動提取專輯信息比如標題、藝術家、專輯、專輯封面，自動顯示專輯封面。
完美支持音視頻同步和倍速播放。
解碼策略支持速度優先、質量優先、均衡處理、最快速度。
支持手機視頻旋轉角度顯示，比如一般手機拍攝的視頻是旋轉了90度的，解碼顯示的時候需要重新旋轉90度纔是正的。
自動轉換yuv420格式，比如本地攝像頭是yuyv422格式，有些視頻文件是xx格式，統一將非yuv420格式轉換，然後再進行處理。
支持硬解碼dxva2、d3d11va等，性能極高尤其是大分辨率比如4K視頻。
視頻響應極低延遲0.2s左右，極速響應打開視頻流0.5s左右，專門做了優化處理。
硬解碼和GPU繪製組合，極低CPU佔用，比海康大華等客戶端更優。
支持視頻流中的各種音頻格式，AAC、PCM、G.726、G.711A、G.711Mu、G.711ulaw、G.711alaw、MP2L2等都支持，推薦選擇AAC兼容性跨平臺性最好。
視頻存儲支持yuv、h264、mp4多種格式，音頻存儲支持pcm、wav、aac多種格式。默認視頻mp4格式、音頻aac格式。
支持分開存儲音頻視頻文件，也支持合併到一個mp4文件，默認策略是無論何種音視頻文件格式存儲，最終都轉成mp4及aac格式，然後合併成音視頻一起的mp4文件。
支持本地攝像頭實時視頻顯示帶音頻輸入輸出，音視頻錄製合併到一個mp4文件。
支持H264/H265編碼（現在越來越多的監控攝像頭是H265視頻流格式）生成視頻文件，內部自動識別切換編碼格式。
自動識別視頻流動態分辨率改動，重新打開視頻流。
支持用戶信息中包含特殊字符（比如用戶信息中包含+#@等字符）的視頻流播放，內置解析轉義處理。
純qt+ffmpeg解碼，非sdl等第三方繪製播放依賴，gpu繪製採用qopenglwidget，音頻播放採用qaudiooutput。
同時支持ffmpeg2、ffmpeg3、ffmpeg4、ffmpeg5版本，全部做了兼容處理。如果需要支持xp需要選用ffmpeg3及以下。

Qt音視頻開發05-保存視頻文件（yuv/h264/mp4）

一、前言

二、效果圖

三、體驗地址

四、相關代碼

五、功能特點

5.1 基礎功能

5.2 特色功能

5.3 視頻控件

5.4 內核ffmpeg

Qt/C++音視頻開發71-指定mjpeg/h264格式採集本地攝像頭/存儲文件到mp4/設備推流/採集推流

Qt程序員必看/關於Qt收費的官方答覆

這可能是國內Qt/C++界最受歡迎開源項目之一/5.8Kstar/持續迭代更新

Qt/C++通用跨平臺Onvif工具/支持海康大華宇視華爲天地偉業等/雲臺控制/預置位管理/工程調試利器

Qt/C++監控推流設備推流/延遲極低/實時性極高/rtsp/rtmp推流/hls/flv/webrtc拉流/調整分辨率降低帶寬

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結