EasyRTMPClient拉取RTMP流擴展支持HEVC(H.265)解決方案

不久前我們已經在RTMP推送端擴展支持了HEVC(H.265 後文統稱H265)編碼格式，但是，由於RTMP官方指定的協議格式已經不再更新，官方的播放器的Flash播放器並不支持H265格式的編碼數據進行解碼播放；現在，我們需要在播放器端解析RTMP流時對H265編碼格式進行擴展支持。

首先，我們可以通過擴展ffmpeg，讓其支持拉H265封裝的RTMP流進行解碼播放，我們可以通過金山雲對FFmepg的擴展支持H265來解決。

然後，我們通過修改EasyRTMPClient的代碼實現對H265 的支持，因爲我們已經實現了推送端的擴展支持，所以，播放端支持則相對比較簡單；不過依然有幾個方面我們需要注意；下面將對整個擴展流程進行介紹。

1. 擴展編碼ID

和推送端一樣，需要先擴展支持H265的編碼ID，我們定義爲12，如下代碼所示：

enum FlvVideoCodecId
{
	e_FlvVideoCodecId_None     = 0,
	e_FlvVideoCodecId_Jpeg     = 1,
	e_FlvVideoCodecId_H263     = 2,
	e_FlvVideoCodecId_Screen   = 3,
	e_FlvVideoCodecId_Vp6      = 4,
	e_FlvVideoCodecId_Vp6Alpha = 5,
	e_FlvVideoCodecId_ScreenV2 = 6,
	e_FlvVideoCodecId_Avc      = 7,
	// RTMP擴展支持HEVC(H.265) 
	e_FlvVideoCodecId_Hevc      = 12, 

};


enum FlvCodeId
{
	FlvCodeId_Jpeg = 1,
	FlvCodeId_Sorenson = 2,
	FlvCodeId_ScreenVideo = 3,
	FlvCodeId_On2Vp6 = 4,
	FlvCodeId_On2Vp6Alpha = 5,
	FlvCodeId_ScreenVideoV2 = 6,
	FlvCodeId_AVC = 7,
	// RTMP擴展支持HEVC(H.265)
	FlvCodeId_Hevc      = 12,
};

2. 擴展H265特有頭部數據結構VPS

因爲H264只有SPS和PPS，所以在兼容H265的時候，我們需要定義其特有的頭VPS:

	char	vps_buf_[MAX_VPS_LEN];//256
	int		vps_len_;	

3. MetaData解析擴展支持H265

在推送端，我們擴展H265發送的MetaData結構定義如下：

typedef struct HVCCNALUnitArray {
	uint8_t  array_completeness;
	uint8_t  NAL_unit_type;
	uint16_t numNalus;
	uint16_t *nalUnitLength;
	uint8_t  **nalUnit;
} HVCCNALUnitArray;

typedef struct HEVCDecoderConfigurationRecord {
	uint8_t  configurationVersion;
	uint8_t  general_profile_space;
	uint8_t  general_tier_flag;
	uint8_t  general_profile_idc;
	uint32_t general_profile_compatibility_flags;
	uint64_t general_constraint_indicator_flags;
	uint8_t  general_level_idc;
	uint16_t min_spatial_segmentation_idc;
	uint8_t  parallelismType;
	uint8_t  chromaFormat;
	uint8_t  bitDepthLumaMinus8;
	uint8_t  bitDepthChromaMinus8;
	uint16_t avgFrameRate;
	uint8_t  constantFrameRate;
	uint8_t  numTemporalLayers;
	uint8_t  temporalIdNested;
	uint8_t  lengthSizeMinusOne;
	uint8_t  numOfArrays;
	HVCCNALUnitArray *array;
} HEVCDecoderConfigurationRecord;

現在我們需要從MetaData裏面講VPS，SPS和PPS解析出來，首先，判斷視頻編碼格式：

    parser_VideoTag *video_tag = (parser_VideoTag*)(buf+parser_offset);
	FlvCodeId video_code_id = (FlvCodeId)(video_tag->code_id&0x0f);
	if (video_code_id == FlvCodeId_Hevc)
	{
		av_frame.u32AVFrameFlag = EASY_SDK_VIDEO_CODEC_H265;// HEVC;
	} 
	else
	{
		av_frame.u32AVFrameFlag = EASY_SDK_VIDEO_CODEC_H264;// 默認h264, 其他類型是否需要判斷?!;
	}

然後，判斷視頻幀格式爲H265後，我們從MetaData中獲取VPS,SPS和PPS，如下代碼所示：

 		char *parser_config = buf;
		Parser_HEVCDecoderConfigurationRecord *decoder_header = (Parser_HEVCDecoderConfigurationRecord*)((char*)parser_config);
		parser_offset += sizeof(Parser_HEVCDecoderConfigurationRecord);
		int nNumOfArrays = decoder_header->numOfArrays;
		for (int i=0; i<nNumOfArrays; i++)
		{
			Parser_HVCCNALUnitArray* pNALUnit = (Parser_HVCCNALUnitArray*)((char *)parser_config+parser_offset);
			parser_offset += sizeof(Parser_HVCCNALUnitArray);
			int numNalus = ntohs(*(unsigned short *)((char *)parser_config + parser_offset));  
			parser_offset += 2;
			for (int nI=0; nI<numNalus; nI++)
			{
				// 	uint16_t *nalUnitLength;
				// 	uint8_t  **nalUnit;
				ps_len = *pNALUnit[i]->nalUnitLength;
				if (pNALUnit[nI]->NAL_unit_type == 0x20)
				{
					//獲取VPS
					memcpy(vps_buf_, *pNALUnit[i]->nalUnit, ps_len);
					vps_len_ = ps_len;
				} 
				else if (pNALUnit[nI]->NAL_unit_type == 0x021)
				{
					//獲取SPS
					memcpy(sps_buf_,*pNALUnit[i]->nalUnit, ps_len);
					sps_len_ = ps_len;
				}
				else if (pNALUnit[nI]->NAL_unit_type == 0x22)
				{
					//獲取PPS
					memcpy(pps_buf_,*pNALUnit[i]->nalUnit, ps_len);
					pps_len_ = ps_len;
				}	
				parser_offset += ps_len;
			}
		}
		//從H265的SPS頭部結構中取得視頻長寬
		rtmpclient_h265_decode_sps((unsigned char *)sps_buf_, sps_len_, width_, height_);	

4. 視頻數據幀Nalu解析擴展支持H265

首先，判斷如果是H265視頻幀，則需要解析視頻幀是否攜帶VPS：

		if(av_frame.u32AVFrameFlag == EASY_SDK_VIDEO_CODEC_H265)
		{
			nalu_type = (buf[parse_offset] >> 1) & 0x3F;
			if(nalu_type == e_H265_NAL_UNIT_VPS)
			{
				memcpy(vps_buf_,buf + parse_offset,nalu_len);
				vps_len_ = nalu_len;
				parse_offset += nalu_len;
				continue;
			}
		}else{
			nalu_type = buf[parse_offset]&0x1F;
		}

然後，對於SPS和PPS，以及Idr幀、P幀的nalu數據單元的解析，該部分解析和H264解析方法一致，就不做過多贅述。

下面我們通過EasyScreenLive來推H265編碼格式的RTMP流到EasyDSS，通過EasyPlayerPro（ffmpeg拉流）和EasyPlayer-RTMP(EasyRTMPClient拉流)播放，如下圖所示：

我們發現通過網頁播放我們推送的基於H265編碼的RTMP是播放不了的，而通過EasyPlayer則成功播放了出來，說明我們通過EasyRTMPClient拉取RTMP流擴展支持H265的方案已經完美解決。

歡迎大家下載EasyPlayer測試播放支持H265的RTMP流：
https://github.com/EasyDSS/EasyPlayer-RTMP-Win
https://github.com/EasyDSS/EasyPlayerPro-Win

有任何技術問題，歡迎大家和我進行技術交流：
[email protected]

大家也可以加入EasyPlayer流媒體播放器 QQ羣進行討論：
544917793