[Video and Audio Data Processing] UDP-RTP協議解析

0. 概念

網絡協議數據在視頻播放器中的位置如下所示。

MPEG-TS封裝格式數據打包爲RTP/UDP協議然後發送出去的流程如下圖所示。圖中首先每7個MPEG-TS Packet打包爲一個RTP，然後每個RTP再打包爲一個UDP。其中打包RTP的方法就是在MPEG-TS數據前面加上RTP Header，而打包RTP的方法就是在RTP數據前面加上UDP Header。

基本概念就差不多這些，更多的請看我寫的代碼註釋，以及本文參考鏈接。

1. 代碼

extern "C"
{
#ifdef __cplusplus
#define __STDC_CONSTANT_MACROS

#endif

}
extern "C" {


#include <stdio.h>
#include <winsock2.h>
}



// 摘自<winsock.h>
// typedef struct WSAData {
//         WORD                    wVersion;
//         WORD                    wHighVersion;
// #ifdef _WIN64
//         unsigned short          iMaxSockets;
//         unsigned short          iMaxUdpDg;
//         char FAR *              lpVendorInfo;
//         char                    szDescription[WSADESCRIPTION_LEN+1];
//         char                    szSystemStatus[WSASYS_STATUS_LEN+1];
// #else
//         char                    szDescription[WSADESCRIPTION_LEN+1];
//         char                    szSystemStatus[WSASYS_STATUS_LEN+1];
//         unsigned short          iMaxSockets;
//         unsigned short          iMaxUdpDg;
//         char FAR *              lpVendorInfo;
// #endif
// } WSADATA;



#pragma comment(lib, "ws2_32.lib") 

#pragma pack(1)

/*
 * [memo] FFmpeg stream Command:
 * ffmpeg -re -i sintel.ts -f mpegts udp://127.0.0.1:8880
 * ffmpeg -re -i sintel.ts -f rtp_mpegts udp://127.0.0.1:8880
 */

typedef struct RTP_FIXED_HEADER {
	/* byte 0 */
	unsigned char csrc_len : 4;       /* expect 0 */
//CSRC記數（CC）    表示CSRC標識的數目
	unsigned char extension : 1;      /* expect 1 */
//extension：擴展位
	unsigned char padding : 1;        /* expect 0 */
//padding: 填充位， 一些具有固定塊大小的加密算法
//或在較低層協議數據單元中攜帶幾個RTP數據包可能需要填充。
	unsigned char version : 2;        /* expect 2 */
//version字段標識RTP的版本
	/* byte 1 */
	unsigned char payload : 7;
//payload：負載類型,標明RTP負載的格式，
//包括所採用的編碼算法、採樣頻率、承載通道等
	unsigned char marker : 1;        /* expect 1 */
//標記位，處理幀邊界之類的東西
	/* bytes 2, 3 */
	unsigned short seq_no;
// seq_no: 序列號用來爲接收方提供探測數據丟失的方法，
// 但如何處理丟失的數據則是應用程序自己的事情，RTP協議本身並不負責數據的重傳。
	/* bytes 4-7 */
	unsigned  long timestamp;
// timestamp: 時間戳，記錄了負載中第一個字節的採樣時間，
//接收方能夠根據，時間戳確定數據的到達是否受到了延遲抖動的影響，
// 但具體如何來補償延遲抖動則是應用程序自己的事情。
	/* bytes 8-11 */
	unsigned long ssrc;            /* stream number is used here. */
//  If a participant generates multiple streams in one RTP session, 
//  for example from separate video cameras, each MUST be identified 
//  as a different SSRC.
} RTP_FIXED_HEADER;


//這裏使用了位域的結構
//這個MPEGTS_FIXED_HEADER結構的長度是4個字節
typedef struct MPEGTS_FIXED_HEADER {
	unsigned sync_byte : 8; 
//Sync byte:同步字節，值爲0x47；
	unsigned transport_error_indicator : 1;
//Transport error indicator:傳輸錯誤指示位，
// 置1時，表示傳送包中至少有一個不可糾正的錯誤位。
	unsigned payload_unit_start_indicator : 1;
//Payload_unit start indicator:負載單元起始指標位，
//表示TS包的有效淨荷以PES/PSI包的第一個字節開始，
//舉個例子，一個PES包可能由多個TS包構成，
//第一個TS包的負載單元起始指標位纔會被置位。
	unsigned transport_priority : 1;
//Transport priority:傳輸優先級，\
//表明該包比同個PID的但未置位的TS包有更高的優先級。
	unsigned PID : 13;
//PID:該TS包的ID號，如果淨荷是PAT包，則PID固定爲0x00。
	unsigned scrambling_control : 2;
//Transport scrambling control:傳輸加擾控制位
	unsigned adaptation_field_exist : 2;
//Adaption field control:自適應調整域控制位，
//置位則表明該TS包存在自適應調整字段。
	unsigned continuity_counter : 4;
// Continuity counter:連續計數器，隨着具有相同PID的TS包的增加而增加，
// 達到最大時恢復爲0，如果兩個連續相同PID的TS包具有相同的計數，
// 則表明這兩個包是一樣的，只取一個解析即可。
} MPEGTS_FIXED_HEADER;



int simplest_udp_parser(int port)
{
	WSADATA wsaData;
//WSADATA結構被用來保存AfxSocketInit函數返回的WindowsSockets初始化信息。
	WORD sockVersion = MAKEWORD(2, 2);
//這個宏呢就是返回一個word大小的內存 高位是2 低位也是2 所以版本是2.2
//typedef  unsigned short     word;   /* Unsinged 16 bit value type. */
	int cnt = 0;

	//FILE *myout=fopen("output_log.txt","wb+");
	FILE* myout = stdout;

	FILE* fp1 = fopen("output_dump.ts", "wb+");

	if (WSAStartup(sockVersion, &wsaData) != 0) {
// 對2.2版本Windows Sockets 庫進行初始化
// 如果出錯zhi,則返回0
		return 0;
	}

//Windows下初始化Winsock的模板寫法
	SOCKET serSocket = socket(AF_INET, SOCK_DGRAM, IPPROTO_UDP);
	if (serSocket == INVALID_SOCKET) {
		printf("socket error !");
		return 0;
	}

// typedef struct sockaddr_in {
// 
// #if(_WIN32_WINNT < 0x0600)
//     short   sin_family;
// #else //(_WIN32_WINNT < 0x0600)
//     ADDRESS_FAMILY sin_family;
// #endif //(_WIN32_WINNT < 0x0600)
// 
//     USHORT sin_port;
//     IN_ADDR sin_addr;
//     CHAR sin_zero[8];
// } SOCKADDR_IN, *PSOCKADDR_IN;

//#define INADDR_ANY    (ULONG)0x00000000


//這塊是socket網絡編程的東西，大概就是要綁定本地端口，然後接收數據
	sockaddr_in serAddr;
	serAddr.sin_family = AF_INET;
	serAddr.sin_port = htons(port);
	serAddr.sin_addr.S_un.S_addr = INADDR_ANY;
	if (bind(serSocket, (sockaddr*)&serAddr, sizeof(serAddr)) == SOCKET_ERROR) {
		printf("bind error !");
		closesocket(serSocket);
		return 0;
	}

	sockaddr_in remoteAddr;
	int nAddrLen = sizeof(remoteAddr);

	//How to parse?
	int parse_rtp = 1;
	int parse_mpegts = 1;

	printf("Listening on port %d\n", port);

	char recvData[10000];
	while (1) {

//recvfrom函數用於從（已連接）套接口上接收數據，並捕獲數據發送源的地址。
//recvData接收數據緩衝區
//返回值:成功則返回接收到的字符數,失敗返回-1.
//使用 recvfrom 函數接收到的數據已經是UDP的負載了，沒有頭部信息了。
//所以不要困惑爲啥沒解析 UDP文件頭
		int pktsize = recvfrom(serSocket, recvData, 10000, 0, (sockaddr*)&remoteAddr, 
		&nAddrLen);
		if (pktsize > 0) {
			//printf("Addr:%s\r\n",inet_ntoa(remoteAddr.sin_addr));
			//printf("packet size:%d\r\n",pktsize);
			//Parse RTP
			//
			if (parse_rtp != 0) {
				char payload_str[10] = { 0 };
				RTP_FIXED_HEADER rtp_header;
				int rtp_header_size = sizeof(RTP_FIXED_HEADER);
				//RTP Header
				memcpy((void*)&rtp_header, recvData, rtp_header_size);
			//rtp_header從接收到的recvData數據裏面，獲取RTP頭信息
				

				//RFC3551
				char payload = rtp_header.payload;
				switch (payload) {
				case 0:
				case 1:
				case 2:
				case 3:
				case 4:
				case 5:
				case 6:
				case 7:
				case 8:
				case 9:
				case 10:
				case 11:
				case 12:
				case 13:
				case 14:
				case 15:
				case 16:
				case 17:
				case 18: sprintf(payload_str, "Audio"); break;
				case 31: sprintf(payload_str, "H.261"); break;
				case 32: sprintf(payload_str, "MPV"); break;
				case 33: sprintf(payload_str, "MP2T"); break;
				case 34: sprintf(payload_str, "H.263"); break;
				case 96: sprintf(payload_str, "H.264"); break;
				default:sprintf(payload_str, "other"); break;
				}

				unsigned int timestamp = ntohl(rtp_header.timestamp);
			//timestamp:時間戳
				unsigned int seq_no = ntohs(rtp_header.seq_no);
			//seq_no序列號

				fprintf(myout, "[RTP Pkt] %5d| %5s| %10u| %5d| %5d|\n", cnt, 
				payload_str, timestamp, seq_no, pktsize);

				//RTP Data
				char* rtp_data = recvData + rtp_header_size;
				//RTP Data數據從recvData+ rtp_header_size的地址開始獲取，沒毛病
			
				int rtp_data_size = pktsize - rtp_header_size;
				fwrite(rtp_data, rtp_data_size, 1, fp1);
			//寫入到output_dump.ts裏面

				//Parse MPEGTS
				if (parse_mpegts != 0 && payload == 33) {
				//33指的是負載類型MP2T
					MPEGTS_FIXED_HEADER mpegts_header;
					for (int i = 0; i < rtp_data_size; i = i + 188) {
						//TS packet一般是188個字節長度，這是此處取188的原因
						if (rtp_data[i] != 0x47)
						//0x47爲MPEGTS_FIXED_HEADER頭的同步字
							break;
						//MPEGTS Header
						//memcpy((void *)&mpegts_header,
						//rtp_data+i,sizeof(MPEGTS_FIXED_HEADER));
						fprintf(myout, "   [MPEGTS Pkt]\n");
					}
				}

			}
			else {
				fprintf(myout, "[UDP Pkt] %5d| %5d|\n", cnt, pktsize);
				fwrite(recvData, pktsize, 1, fp1);
			}

			cnt++;
		}
	}
	closesocket(serSocket);
	WSACleanup();
	fclose(fp1);

	return 0;
}


int main()
{
	simplest_udp_parser(8880);
	return 0;
}

先在visual studio編譯運行，

然後把sintel.ts放在ffmpeg.exe同級目錄，使用ffmpeg推流。
ffmpeg安裝使用可以參考我的這篇文章： https://blog.csdn.net/Codeliang666/article/details/106924074

ffmpeg -re -i sintel.ts -f rtp_mpegts udp://127.0.0.1:8880

如下會一邊推流一邊解析文件。

2. 參考鏈接

1. https://blog.csdn.net/leixiaohua1020/article/details/50535230
2. https://blog.csdn.net/zhaoyaofeng/article/details/89420829
3. https://blog.csdn.net/Kayson12345/article/details/81266587