1 專欄導讀

本專欄第一篇文章「專欄開篇」列出了專欄的完整目錄，按目錄順序閱讀，有助於你的理解，專欄前面文章講過的知識點（或代碼段），後面文章不會贅述。爲了節省篇幅，突出重點，在文章中展示的示例代碼僅僅是關鍵代碼，你可以在「專欄開篇」中獲取完整代碼。

如有錯誤，歡迎你的留言糾正！讓我們共同成長！你的「點贊」或「打賞」是對我最大的支持和鼓勵！

2 原理簡介

ONVIF規範中設備管理和控制部分所定義的接口均以Web Services的形式提供，而音視頻流則通過RTP/RTSP進行。

簡單粗暴的理解：IPC的各種參數獲取/配置都是通過ONVIF協議接口實現，而音視頻流多媒體傳輸採用的是RTP/RTSP協議實現。

要讀取IPC的音視頻流，概況起來是，先通過ONVIF接口獲取IPC主/輔碼流的RTSP地址，再利用FFmpeg接口（或其他開源方案）讀取音視頻流數據。

3 編碼流程

通過「設備發現」，得到「設備服務地址」。
使用「設備服務地址」調用GetCapabilities接口，得到「媒體服務地址」。
使用「媒體服務地址」調用GetProfiles接口，得到主次碼流的「媒體配置信息」，其中包含ProfileToken。
使用ProfileToken 調用GetStreamUri接口，得到主次碼流的流媒體RTSP地址。
使用RTSP地址，調用FFmpeg接口，讀取音視頻流數據。

4 VLC播放RTSP視頻

RTSP是很成熟的多媒體傳輸協議，用於傳輸音視頻流數據。我們不需要自己碼代碼來實現RTSP協議，有很多現成的開源方案可供我們使用，比如強大的FFmpeg。

爲了讓大家對RTSP有個更好的認識，下面演示：使用VLC media player播放RTSP視頻流。

打開VLC media player播放器（我的版本是VLC media player 2.1.3）。
選擇菜單【媒體】>【打開網絡串流】，輸入RTSP地址，點擊【播放】，即可實時播放視頻流媒體，如下圖所示。
如果提示認證失敗，那麼URL就要加上用戶名、密碼，格式如：rtsp://username:[email protected]:554/av0_0

5 準備FFmpeg庫

官網：http://ffmpeg.org/

Windows平臺下的FFmpeg，官網上有編譯好的動態庫可直接使用。

下載Dev版本，裏面包含了ffmpeg的xxx.h頭文件以及xxx.lib庫文件。
下載Shared版本，裏面包含了ffmpeg的dll文件。
將這兩部分文件拷貝到VC工程下面就可以了

如：

ffmpeg-20160926-64545dd-win32-dev.zip
ffmpeg-20160926-64545dd-win32-shared.zip

Linux平臺下的FFmpeg就要自己編譯了（我下載的源碼版本是：ffmpeg-3.0.2.tar.bz2），詳細的編譯過程不再本文討論範圍內，大致的命令是：

# ./configure --enable-shared --disable-yasm --disable-debug --prefix=/home/ffmpeg-linux-pc
# make
# make all

6 示例代碼

#include <stdio.h>
#include <stdlib.h>
#include <assert.h>
#include "onvif_comm.h"
#include "onvif_dump.h"

#include "libavcodec/avcodec.h"
#include "libavdevice/avdevice.h"
#include "libavformat/avformat.h"
#include "libavfilter/avfilter.h"
#include "libavutil/avutil.h"
#include "libswscale/swscale.h"
#include "libavutil/pixdesc.h"

/************************************************************************
**函數：open_rtsp
**功能：從RTSP獲取音視頻流數據
**參數：
        [in]  rtsp - RTSP地址
**返回：無
************************************************************************/
void open_rtsp(char *rtsp)
{
    unsigned int    i;
    int             ret;
    int             video_st_index = -1;
    int             audio_st_index = -1;
    AVFormatContext *ifmt_ctx = NULL;
    AVPacket        pkt;
    AVStream        *st = NULL;
    char            errbuf[64];

    av_register_all();                                                          // Register all codecs and formats so that they can be used.
    avformat_network_init();                                                    // Initialization of network components

    if ((ret = avformat_open_input(&ifmt_ctx, rtsp, 0, NULL)) < 0) {            // Open the input file for reading.
        printf("Could not open input file '%s' (error '%s')\n", rtsp, av_make_error_string(errbuf, sizeof(errbuf), ret));
        goto EXIT;
    }

    if ((ret = avformat_find_stream_info(ifmt_ctx, NULL)) < 0) {                // Get information on the input file (number of streams etc.).
        printf("Could not open find stream info (error '%s')\n", av_make_error_string(errbuf, sizeof(errbuf), ret));
        goto EXIT;
    }

    for (i = 0; i < ifmt_ctx->nb_streams; i++) {                                // dump information
        av_dump_format(ifmt_ctx, i, rtsp, 0);
    }

    for (i = 0; i < ifmt_ctx->nb_streams; i++) {                                // find video stream index
        st = ifmt_ctx->streams[i];
        switch(st->codec->codec_type) {
        case AVMEDIA_TYPE_AUDIO: audio_st_index = i; break;
        case AVMEDIA_TYPE_VIDEO: video_st_index = i; break;
        default: break;
        }
    }
    if (-1 == video_st_index) {
        printf("No H.264 video stream in the input file\n");
        goto EXIT;
    }

    av_init_packet(&pkt);                                                       // initialize packet.
    pkt.data = NULL;
    pkt.size = 0;

    while (1)
    {
        do {
            ret = av_read_frame(ifmt_ctx, &pkt);                                // read frames
        } while (ret == AVERROR(EAGAIN));

        if (ret < 0) {
            printf("Could not read frame (error '%s')\n", av_make_error_string(errbuf, sizeof(errbuf), ret));
            break;
        }

        if (pkt.stream_index == video_st_index) {                               // video frame
            printf("Video Packet size = %d\n", pkt.size);
        } else if(pkt.stream_index == audio_st_index) {                         // audio frame
            printf("Audio Packet size = %d\n", pkt.size);
        } else {
            printf("Unknow Packet size = %d\n", pkt.size);
        }

        av_packet_unref(&pkt);
    }

EXIT:

    if (NULL != ifmt_ctx) {
        avformat_close_input(&ifmt_ctx);
        ifmt_ctx = NULL;
    }
    return ;
}

/************************************************************************
**函數：ONVIF_GetStreamUri
**功能：獲取設備碼流地址(RTSP)
**參數：
        [in]  MediaXAddr    - 媒體服務地址
        [in]  ProfileToken  - the media profile token
        [out] uri           - 返回的地址
        [in]  sizeuri       - 地址緩存大小
**返回：
        0表明成功，非0表明失敗
**備註：
************************************************************************/
int ONVIF_GetStreamUri(const char *MediaXAddr, char *ProfileToken, char *uri, unsigned int sizeuri)
{
    int result = 0;
    struct soap *soap = NULL;
    struct tt__StreamSetup              ttStreamSetup;
    struct tt__Transport                ttTransport;
    struct _trt__GetStreamUri           req;
    struct _trt__GetStreamUriResponse   rep;

    SOAP_ASSERT(NULL != MediaXAddr);
    SOAP_ASSERT(NULL != uri);
    memset(uri, 0x00, sizeuri);

    SOAP_ASSERT(NULL != (soap = ONVIF_soap_new(SOAP_SOCK_TIMEOUT)));

    memset(&req, 0x00, sizeof(req));
    memset(&rep, 0x00, sizeof(rep));
    memset(&ttStreamSetup, 0x00, sizeof(ttStreamSetup));
    memset(&ttTransport, 0x00, sizeof(ttTransport));
    ttStreamSetup.Stream                = tt__StreamType__RTP_Unicast;
    ttStreamSetup.Transport             = &ttTransport;
    ttStreamSetup.Transport->Protocol   = tt__TransportProtocol__RTSP;
    ttStreamSetup.Transport->Tunnel     = NULL;
    req.StreamSetup                     = &ttStreamSetup;
    req.ProfileToken                    = ProfileToken;

    ONVIF_SetAuthInfo(soap, USERNAME, PASSWORD);
    result = soap_call___trt__GetStreamUri(soap, MediaXAddr, NULL, &req, &rep);
    SOAP_CHECK_ERROR(result, soap, "GetServices");

    dump_trt__GetStreamUriResponse(&rep);

    result = -1;
    if (NULL != rep.MediaUri) {
        if (NULL != rep.MediaUri->Uri) {
            if (sizeuri > strlen(rep.MediaUri->Uri)) {
                strcpy(uri, rep.MediaUri->Uri);
                result = 0;
            } else {
                SOAP_DBGERR("Not enough cache!\n");
            }
        }
    }

EXIT:

    if (NULL != soap) {
        ONVIF_soap_delete(soap);
    }

    return result;
}

void cb_discovery(char *DeviceXAddr)
{
    int stmno = 0;                                                              // 碼流序號，0爲主碼流，1爲輔碼流
    int profile_cnt = 0;                                                        // 設備配置文件個數
    struct tagProfile *profiles = NULL;                                         // 設備配置文件列表
    struct tagCapabilities capa;                                                // 設備能力信息

    char uri[ONVIF_ADDRESS_SIZE] = {0};                                         // 不帶認證信息的URI地址
    char uri_auth[ONVIF_ADDRESS_SIZE + 50] = {0};                               // 帶有認證信息的URI地址

    ONVIF_GetCapabilities(DeviceXAddr, &capa);                                  // 獲取設備能力信息（獲取媒體服務地址）

    profile_cnt = ONVIF_GetProfiles(capa.MediaXAddr, &profiles);                // 獲取媒體配置信息（主/輔碼流配置信息）

    if (profile_cnt > stmno) {
        ONVIF_GetStreamUri(capa.MediaXAddr, profiles[stmno].token, uri, sizeof(uri)); // 獲取RTSP地址

        make_uri_withauth(uri, USERNAME, PASSWORD, uri_auth, sizeof(uri_auth)); // 生成帶認證信息的URI（有的IPC要求認證）

        open_rtsp(uri_auth);                                                    // 讀取主碼流的音視頻數據
    }

    if (NULL != profiles) {
        free(profiles);
        profiles = NULL;
    }
}

int main(int argc, char **argv)
{
    ONVIF_DetectDevice(cb_discovery);
    return 0;
}

open_rtsp函數的執行結果類似：

Input #0, rtsp, from 'rtsp://100.100.100.5:554/av0_0':
  Metadata:
    title           : av0_0
  Duration: N/A, start: 0.000000, bitrate: N/A
    Stream #0:0: Video: h264 (Main), yuv420p, 1280x720, 25 tbr, 90k tbn, 180k tbc
    Stream #0:1: Audio: pcm_mulaw, 8000 Hz, 1 channels, s16, 64 kb/s
Input #1, rtsp, from 'rtsp://100.100.100.5:554/av0_0':
  Metadata:
    title           : av0_0
  Duration: N/A, start: 0.000000, bitrate: N/A
    Stream #1:0: Video: h264 (Main), yuv420p, 1280x720, 25 tbr, 90k tbn, 180k tbc
    Stream #1:1: Audio: pcm_mulaw, 8000 Hz, 1 channels, s16, 64 kb/s
Audio Packet size = 320
Video Packet size = 73926
Video Packet size = 6387
Video Packet size = 3768
Video Packet size = 5742
Audio Packet size = 320
Audio Packet size = 320
Audio Packet size = 320
Video Packet size = 5188
Audio Packet size = 320
Video Packet size = 5035
Video Packet size = 4833
Audio Packet size = 320
Video Packet size = 4791
Audio Packet size = 320

ONVIF協議網絡攝像機（IPC）客戶端程序開發（12）：讀取音視頻流

1 專欄導讀

2 原理簡介

3 編碼流程

4 VLC播放RTSP視頻

5 準備FFmpeg庫

6 示例代碼

持續集成之 Jenkins

bitnami-redmine服務器遷移

linux下bitnami-redmine中安裝插件redmine_dmsf總結

linux編程出錯: Value too large for defined data type

【單元測試】CUnit單元測試框架（不支持mock功能）

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結