視頻流媒體中視頻數(shù)據(jù)的傳輸占據(jù)了絕大部分的帶寬，如何提升編碼效率、減小帶寬使用、提升畫面質(zhì)量，成為音視頻開發(fā)者努力的重點(diǎn)。HEVC編碼格式的推出為此帶來了突破點(diǎn)。對(duì)于直播而言，大部分推拉流協(xié)議是基于RTMP的，因此本文將主要介紹如何在RTMP協(xié)議中增加對(duì)HEVC視頻編碼格式的支持。

本文來自金山云OBG事業(yè)部投稿，是《FFmpeg從入門到出家》系列的第一篇下半部分，由LiveVideoStack審校整理，希望能讓大家對(duì)FFmpeg有更深入了解。閱讀上半部分內(nèi)容請(qǐng)點(diǎn)擊【閱讀原文】。

文 / 施雪梅

4. HEVC在RTMP中的擴(kuò)展

為推進(jìn)HEVC視頻編碼格式在直播方案中的落地，經(jīng)過CDN聯(lián)盟討論，并和主流云服務(wù)廠商達(dá)成一致，規(guī)范了HEVC在RTMP/FLV中的擴(kuò)展，具體修改內(nèi)容見下。

4.1 FLV規(guī)范擴(kuò)展

HEVC為視頻編碼格式，因此對(duì)FLV規(guī)范的擴(kuò)展，只集中在Video Tag，其它部分，無任何改動(dòng)。

4.1.1 支持HEVC的VideoTagHeader

擴(kuò)展后的VideoTagHeader如下圖所示(紅色字體為新增內(nèi)容)：

圖9. 支持HEVC的FLVTagHeader

修改點(diǎn)如下：

1.CodecID - 定義HEVC格式的值為12；

2.HEVCPacketType - 當(dāng)CodecID == 12時(shí)，AVCPacketType為HEVCPacketType：

• 如果HEVCPacketType為0，表示HEVCVIDEOPACKET中存放的是HEVC sequence header；

• 如果HEVCPacketType為1，表示HEVCVIDEOPACKET中存放的是HEVC NALU；

• 如果HEVCPacketType為2，表示HEVCVIDEPACKET中存放的是HEVC end of sequence，即HEVCDecoderConfigurationRecord；

3.CompositionTime - 當(dāng)CodecID == 12時(shí)，同樣需要CompositionTime。

4.1.2 支持HEVC的VideoTagBody

當(dāng)CodecID為12時(shí)，VideoTagBody中存放的就是HEVC視頻幀內(nèi)容。

擴(kuò)展后的VideoTagBody如下圖所示(紅色字體為HEVC新增內(nèi)容)：

圖10. 支持HEVC的VideoTagBody

4.2 FFmpeg中的修改

我們已在FFmpeg的各個(gè)版本上提供相關(guān)的完整修改，具體參見：https://github.com/ksvc/FFmpeg，完整patch獲取及相關(guān)說明見：https://github.com/ksvc/FFmpeg/wiki。

由第二章節(jié)的闡述可知，F(xiàn)LV的解復(fù)用和復(fù)用功能代碼分別在libavformt/flvdec.c和libavformat/flvenc.c中，擴(kuò)展后的修改也都集中在這兩個(gè)文件。本節(jié)將在FFmpeg3.3的基礎(chǔ)上，說明修改的關(guān)鍵點(diǎn)。

4.2.1 編碼類型定義

libavformat/flv.h中按照VideoTagHeader中的CodecID定義了一組視頻編碼格式的枚舉值，擴(kuò)展后的枚舉定義如下：

enum { FLV_CODECID_H263 = 2, FLV_CODECID_SCREEN = 3, FLV_CODECID_VP6 = 4, FLV_CODECID_VP6A = 5, FLV_CODECID_SCREEN2 = 6, FLV_CODECID_H264 = 7, FLV_CODECID_REALH263= 8, FLV_CODECID_MPEG4 = 9, FLV_CODECID_HEVC = 12,};

4.2.2 FLV demux

在解復(fù)用過程中，flv_read_packet方法是整個(gè)過程的核心，它里面完成了對(duì)每個(gè)Tag的讀取和解析。

4.1.1中提到，如果HEVCPacketType為0時(shí)，表示HEVCVIDEOPACKET中存放的是HEVC sequence header，也就是HEVCDecoderConfigurationRecord，解碼時(shí)需設(shè)置HEVCDecoderConfigurationRecord方能正確解碼。

HEVC與AVC視頻幀在FLV中的存放格式相同，所以只需在讀取Video Tag的地方增加AV_CODEC_ID_HEVC的判斷條件即可，調(diào)整后的代碼如下：

if (st->codecpar->codec_id == AV_CODEC_ID_AAC || st->codecpar->codec_id == AV_CODEC_ID_H264 || st->codecpar->codec_id == AV_CODEC_ID_HEVC || st->codecpar->codec_id == AV_CODEC_ID_MPEG4) { int type = avio_r8(s->pb); size--; if (st->codecpar->codec_id == AV_CODEC_ID_H264 || st->codecpar->codec_id == AV_CODEC_ID_HEVC || st->codecpar->codec_id == AV_CODEC_ID_MPEG4) { // sign extension int32_t cts = (avio_rb24(s->pb) + 0xff800000) ^ 0xff800000; pts = dts + cts; if (cts< 0) { // dts might be wrong if (!flv->wrong_dts) av_log(s, AV_LOG_WARNING, "Negative cts, previous timestamps might be wrong.\n"); flv->wrong_dts = 1; } else if (FFABS(dts - pts) > 1000*60*15) { av_log(s, AV_LOG_WARNING, "invalid timestamps %"PRId64" %"PRId64"\n", dts, pts); dts = pts = AV_NOPTS_VALUE; } } if (type == 0 &&(!st->codecpar->extradata || st->codecpar->codec_id == AV_CODEC_ID_AAC || st->codecpar->codec_id == AV_CODEC_ID_HEVC || st->codecpar->codec_id == AV_CODEC_ID_H264)) { AVDictionaryEntry *t; if (st->codecpar->extradata) { if ((ret = flv_queue_extradata(flv, s->pb, stream_type, size)) < 0) return ret; ret = FFERROR_REDO; goto leave; } if ((ret = flv_get_extradata(s, st, size)) < 0) return ret; …… }}

AVCDecoderConfigurationRecord和HEVCDecoderConfigurationRecord都是存放在AVStream->AVCodecParameter->extradata中。

4.2.3 FLV mux

FLV mux的修改相對(duì)較多、header、packet、trailer中均有涉及。

4.2.3.1 write header

flv_write_header中主要完成了以下工作：

1. 寫入FLV Header；

2. 寫入Metadata；

3. 如果音頻編碼格式為AAC，則寫入第一個(gè)Audio Tag，其AudioTagBody中存放的是AAC sequence header；

4. 如果視頻編碼格式為AVC，則寫入第一個(gè)Video Tag，其中VideoTagBody中存放的是AVC sequence header。

同樣，當(dāng)視頻編碼格式HEVC時(shí)，也要寫入第一個(gè)VideoTag，其中VideoTagBody中存放的是HEVCDecoderConfigurationRecord，修改點(diǎn)如下：

avio_w8(pb, par->codec_tag | FLV_FRAME_KEY); // flagsavio_w8(pb, 0); // AVC sequence headeravio_wb24(pb, 0); // composition timeif (par->codec_id == AV_CODEC_ID_HEVC) ff_isom_write_hvcc(pb, par->extradata, par->extradata_size, 0);else ff_isom_write_avcc(pb, par->extradata, par->extradata_size);

ff_isom_write_hvcc的作用是將extradata轉(zhuǎn)為HEVCDecoderConfigurationRecord結(jié)構(gòu)并寫入。

4.2.3.2 write packet

flv_write_packet的作用是寫入音視頻幀，其中有關(guān)寫入video數(shù)據(jù)的地方，都需要加上AV_CODEC_ID_HEVC的判斷條件，修改內(nèi)容如下:

else if (par->codec_id == AV_CODEC_ID_HEVC ){ if (par->extradata_size> 0 && *(uint8_t*)par->extradata != 1) if ((ret = ff_hevc_annexb2mp4_buf(pkt->data, &data, &size, 0, NULL)) < 0) return ret; }

ff_hevc_annexb2mp4_buf方法的作用是將Annex-B格式的HEVC視頻幀轉(zhuǎn)為HVCC格式。

AnnexB與AVCC/HVCC(ISO/IEC14496-15中所定義，通常也稱為MPEG-4格式)的區(qū)別在于參數(shù)集與幀格式，AnnexB的參數(shù)集sps、pps以NAL的形式存在碼流中（帶內(nèi)傳輸），以startcode分割NAL。而HVCC 的參數(shù)集存儲(chǔ)在extradata中（帶外傳輸），使用NALU長(zhǎng)度（固定字節(jié)，通常為4字節(jié)，從extradata中解析）分隔NAL。

4.2.3.3 write trailer

結(jié)束時(shí)需要寫入HEVC end of sequence，其格式與AVC end of sequence相同，直接復(fù)用即可，flv_write_trailer的修改內(nèi)容如下：

if (par->codec_type == AVMEDIA_TYPE_VIDEO && (par->codec_id == AV_CODEC_ID_H264 || par->codec_id == AV_CODEC_ID_HEVC || par->codec_id == AV_CODEC_ID_MPEG4)) put_avc_eos_tag(pb, sc->last_ts);?

5. 結(jié)束語

本文簡(jiǎn)單介紹了如何在FFmpeg中擴(kuò)展rtmp協(xié)議對(duì)HEVC編碼格式的支持，而要將HEVC應(yīng)用于直播整體方案，除推流端和播放端要提供相應(yīng)能力外，源站、CDN、轉(zhuǎn)碼服務(wù)同樣都需要提供這種能力。金山云的所有視頻服務(wù)中，已完全支持HEVC視頻編碼格式，歡迎大家使用。