騰訊云音視頻 PaaS 平臺(tái)與 NVIDIA 團(tuán)隊(duì)合作，利用 NVIDIA TensorRT 加速視頻直播和點(diǎn)播業(yè)務(wù)中視頻增強(qiáng) AI 模型的推理效率；借助 NVIDIA Maxine Video Effects SDK 的 AI 綠幕功能實(shí)現(xiàn)高性能高精度的人像分割，提升云導(dǎo)播臺(tái)服務(wù)的用戶體驗(yàn)。

騰訊云音視頻 PaaS 平臺(tái)專注技術(shù)產(chǎn)品，構(gòu)建了行業(yè)中極速高清智能轉(zhuǎn)碼、超低時(shí)延快直播的音視頻解決方案，連續(xù)四年居于市場(chǎng)份額和解決方案首位[1]，覆蓋國(guó)內(nèi) 90% 音視頻客戶。團(tuán)隊(duì)通過不斷的技術(shù)創(chuàng)新和產(chǎn)品優(yōu)化引領(lǐng)行業(yè)發(fā)展，其中，騰訊云-媒體處理融合視頻 AI 技術(shù)持續(xù)突破核心編解碼技術(shù)，2021/2022 MSU 世界云端視頻轉(zhuǎn)碼比賽綜合最佳，且在最新的 SLC 評(píng)測(cè)中，也取得多項(xiàng)最佳的成績(jī)，另外騰訊云-媒體處理服務(wù)支撐全網(wǎng) 40%+ 實(shí)時(shí)媒體處理量[2]。"低延時(shí)、低碼率、高畫質(zhì)"，騰訊云音視頻為全真互聯(lián)時(shí)代，提供堅(jiān)實(shí)的數(shù)字化助力。

在構(gòu)建高品質(zhì)高性能的音視頻解決方案的過程中，往往會(huì)面臨許多挑戰(zhàn)。

首先，由于網(wǎng)絡(luò)傳輸或采集設(shè)備不佳的原因，直播或點(diǎn)播的畫質(zhì)可能出現(xiàn)不清晰的問題，此時(shí)需要應(yīng)用視頻增強(qiáng)算法，如視頻超分辨率。為了不影響用戶的觀看體驗(yàn)，視頻增強(qiáng)算法需要以足夠低的延時(shí)運(yùn)行。此外，音視頻 PaaS 平臺(tái)還需要對(duì)視頻進(jìn)行高效的視頻標(biāo)簽識(shí)別、視頻分類、視頻剪輯等，這都必須藉由 AI 模型的推理速度，達(dá)到最佳程度的優(yōu)化和加速。

另外，在直播場(chǎng)景中，用戶希望對(duì)主播直播的畫面應(yīng)用虛擬背景，這要求將人像從直播畫面中精準(zhǔn)地分割出，并應(yīng)用預(yù)設(shè)的背景。如何獲得實(shí)時(shí)性高、準(zhǔn)確性強(qiáng)的人像分割也是一個(gè)難點(diǎn)。

騰訊云音視頻 PaaS 平臺(tái)與 NVIDIA 在諸多產(chǎn)品和業(yè)務(wù)中開展了深入合作，共同打造高性能的音視頻解決方案。

在云直播 CSS 服務(wù)以及媒體處理 MPS 服務(wù)中，騰訊云推出視頻增強(qiáng)功能。為了加速視頻增強(qiáng)模型的推理速度，騰訊云使用了?NVIDIA TensorRT?對(duì)模型進(jìn)行高性能優(yōu)化。TensorRT 是構(gòu)建在 NVIDIA 的并行編程模型 CUDA 基礎(chǔ)之上的，結(jié)合最新一代?NVIDIA Ampere 架構(gòu) GPU，TensorRT 還可以利用?Tensor Core?實(shí)現(xiàn)稀疏性加速的特點(diǎn)。對(duì)于深度學(xué)習(xí)推理應(yīng)用的生產(chǎn)環(huán)境部署方面，TensorRT 提供了 INT8 和 FP16 的優(yōu)化，低精度推理能夠極大的降低應(yīng)用的延遲，有益于實(shí)現(xiàn)實(shí)時(shí)視頻增強(qiáng)服務(wù)。

在云直播 CSS 云導(dǎo)播臺(tái)業(yè)務(wù)的 AI 智能人像摳圖功能中，騰訊云采用了?NVIDIA Maxine Video Effects SDK?中提供的 AI Green Screen（簡(jiǎn)稱 AIGS）功能，對(duì)直播畫面進(jìn)行實(shí)時(shí)而準(zhǔn)確的人像分割。Maxine AIGS 對(duì)視頻流摳圖的精度和穩(wěn)定性做了專門的優(yōu)化，并且加入了 CUDA Graph 優(yōu)化技術(shù)，及時(shí)在 GPU 負(fù)載高的時(shí)候也能降低整體的延時(shí)，使得云導(dǎo)播臺(tái)的人像分割模塊能實(shí)現(xiàn)多路并發(fā)、遠(yuǎn)超實(shí)時(shí)的處理高效率。Maxine AIGS 提供了簡(jiǎn)單易用的 API 接口，騰訊云音視頻 PaaS 平臺(tái)可直接在 FFmpeg filter 中通過 API 調(diào)用該功能，并可與其他多媒體處理 filter 聯(lián)動(dòng)對(duì)視頻流進(jìn)行處理。

最后，在媒體處理 MPS 業(yè)務(wù)中的視頻 AI 功能，涉及到了多個(gè)深度學(xué)習(xí)模型的推理，騰訊云同樣采用?NVIDIA T4 GPU?進(jìn)行高性能推理。這得益于幾乎所有主流的深度學(xué)習(xí)框架均能在 NVIDIA GPU 上執(zhí)行高效計(jì)算。

NVIDIA TensorRT 在騰訊云音視頻 PaaS 平臺(tái)的提供的視頻增強(qiáng)和視頻 AI 功能中，使得推理階段的應(yīng)用在 NVIDIA T4 GPU 上可以實(shí)現(xiàn)同比單一 CPU 平臺(tái)高達(dá) 40 倍的加速效果。TensorRT 可以從所有主流的深度學(xué)習(xí)框架中導(dǎo)入訓(xùn)練好的模型并進(jìn)行優(yōu)化，同時(shí)提供相應(yīng)的 API 和解析器，生成經(jīng)過優(yōu)化的運(yùn)行時(shí)引擎可以部署到畫質(zhì)增強(qiáng)服務(wù)中。

未來，騰訊云音視頻 PaaS 平臺(tái)與 NVIDIA 將持續(xù)合作，進(jìn)一步提升音視頻產(chǎn)品和服務(wù)中 AI 算法的性能。雙方將基于 NVIDIA TensorRT 最新的特性，利用低精度和稀疏化模型壓縮技術(shù)，對(duì)云直播和云點(diǎn)播業(yè)務(wù)中涉及到的視頻增強(qiáng)與視頻 AI 功能模型的推理進(jìn)行大幅加速。此外，NVIDIA Maxine 在視頻特效和音頻特效方面持續(xù)發(fā)布新特性，包括音頻超分技術(shù)、立體環(huán)繞聲增強(qiáng)技術(shù)等，也將助力騰訊云音視頻 PaaS 平臺(tái)提供更豐富的音視頻服務(wù)和功能。雙方在未來也將不斷探索打造編解碼、AI、圖形渲染全流程 GPU 加速的視頻處理方案。

審核編輯：湯梓紅