案例介紹

火山引擎通過(guò)與 NVIDIA 團(tuán)隊(duì)合作開(kāi)發(fā)了 BMF（Babit Media Framework，多媒體處理框架），提供了豐富的 GPU 即用模塊，低門檻的擴(kuò)展方式，多語(yǔ)言接口以及各類主流框架 SDK 的簡(jiǎn)單接入，方便用戶快速打造高效的全 GPU 視頻處理流水線，有效解決開(kāi)發(fā)效率低，鏈路缺乏整體優(yōu)化的問(wèn)題，使得 GPU 能夠充分發(fā)揮其強(qiáng)大的并行計(jì)算能力，應(yīng)用于各類視頻 AI 場(chǎng)景。

視頻成為企業(yè)數(shù)字化增長(zhǎng)新動(dòng)力

在當(dāng)今人們的生活中，視頻化場(chǎng)景已經(jīng)滲透到了方方面面。QuestMobile 數(shù)據(jù)顯示，截止到 2023 年 5 月，中國(guó)移動(dòng)視頻行業(yè)整體用戶規(guī)模達(dá)到 10.76 億，月人均時(shí)長(zhǎng)達(dá)到 64.2 小時(shí)^[1]。在艾瑞研究院報(bào)告的數(shù)據(jù)中也顯示，目前中國(guó)用戶量排名前 100 的 APP 中，有 69% 搭載了視頻類功能，65% 搭載了點(diǎn)播功能，51% 有直播類功能，32% 有實(shí)時(shí)音視頻類功能^[2]。視頻應(yīng)用正在從內(nèi)容、娛樂(lè)行業(yè)拓展至泛互聯(lián)網(wǎng)和大量傳統(tǒng)行業(yè)。

2016 年抖音上線，同年全民直播和短視頻時(shí)代正式開(kāi)啟。2018 年，業(yè)界已經(jīng)廣泛地使用 AI 進(jìn)行內(nèi)容理解，視頻增強(qiáng)。2019 年則是云游戲的元年，這一年，低延遲成為業(yè)務(wù)關(guān)注焦點(diǎn)。進(jìn)入 2021 年，市面上已經(jīng)有大量的基于 AI 的視頻增強(qiáng)，特效貼紙，AI 視頻編輯的產(chǎn)品出現(xiàn)。如今，以 Stable Diffusion 和大語(yǔ)言模型（LLM） 掀起的生成式 AI 浪潮，正席卷整個(gè)行業(yè)進(jìn)入另一個(gè)全新時(shí)代。GPU 不斷增強(qiáng)的計(jì)算能力和視頻圖像處理能力，正好和業(yè)界的發(fā)展完全契合。與圖文內(nèi)容相比，企業(yè)自建視頻應(yīng)用對(duì)技術(shù)積累和資金成本要求較高。為此，火山引擎與 NVIDIA 團(tuán)隊(duì)合作，開(kāi)源了 BMF（Babit Media Framework）多媒體處理框架。該框架是視頻化部署的“底座”，可為企業(yè)提供從視頻生產(chǎn)到消費(fèi)的全鏈路場(chǎng)景支持，并能協(xié)助幫助開(kāi)發(fā)者低成本構(gòu)建視頻應(yīng)用。

從 GPU 加速圖像處理，

到 GPU 上部署生成式 AI 業(yè)務(wù)

NVIDIA 自 1999 年發(fā)明 GPU 驅(qū)動(dòng)了 PC 游戲市場(chǎng)的增長(zhǎng)，并重新定義了現(xiàn)代計(jì)算機(jī)圖形，開(kāi)啟了現(xiàn)代 AI 時(shí)代。2012 年，NVIDIA 在 Kepler 架構(gòu)上添加了硬件視頻編解碼器，能更好地支持視頻串流和直播，也就是現(xiàn)在云游戲和游戲直播的原型。到了 2016 年，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)為整個(gè)圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域帶來(lái)革命，NVIDIA 也順勢(shì)推出了用于模型推理的 TensorRT，加速深度學(xué)習(xí)圖像處理。2019 年，為了配合深度學(xué)習(xí)的發(fā)展，NVIDIA 發(fā)布了 nvJPEG，使得 GPU 可以進(jìn)行圖片編解碼。2022 年，NVIDIA 和字節(jié)跳動(dòng)聯(lián)合開(kāi)源了 CV-CUDA，把加速進(jìn)一步推進(jìn)到前后處理。

圖 1. GPU 加速圖像處理發(fā)展歷程

但是從圖像處理到視頻內(nèi)容生成，并非一蹴而就。

理想情況下，我們以 ControlNet 為例，它可以配合 Stable Diffusion 進(jìn)行更精細(xì)的文生圖。如果單純向 Stable Diffusion 提供 cute dog 作為 prompt，Stable Diffusion 會(huì)生成形態(tài)各異的小狗。但是如果用戶想要某一個(gè)特定姿勢(shì)的小狗圖片，就需要用更加精細(xì)的方式控制生成過(guò)程。ControlNet 就可以做到這一點(diǎn)。以下圖為例，使用 Canny edge detector 生成輸入圖片的輪廓圖，檢測(cè)出的輪廓會(huì)和 prompt 一起被輸入 ControlNet 和 Stable Diffusion，即可生成姿勢(shì)樣貌相同，但其他細(xì)節(jié)不同的可愛(ài)小狗了。實(shí)際上，在其他場(chǎng)景下我們也可以將 Canny edge detector 替換成其他的傳統(tǒng)圖像處理或者 AI 算法，比如使用 pose detector 提取人體姿勢(shì)。類似的技術(shù)還可用于文生圖、圖生圖、image inpainting 等。

圖 2. ControlNet + Stable Diffusion

部署這樣一個(gè)業(yè)務(wù)具體涉及到哪些模塊和環(huán)節(jié)呢？首先，需要圖片和視頻的編解碼，模型的推理（ControlNet/Stable Diffusion），還有前后處理（Canny edge detector）。GPU 有編解碼器，可以運(yùn)行 TensorRT 和 CV-CUDA，能夠?qū)⑦@些模塊一一加速。理想情況下，開(kāi)發(fā)者應(yīng)當(dāng)充分利用 GPU 各種的硬件單元，減少 GPU 和 CPU 之間的拷貝，讓視頻和圖片存留在 GPU；如果涉及跨界點(diǎn)通信，如將處理前后的視頻在網(wǎng)絡(luò)和 GPU 之間傳輸，還需要結(jié)合 GPU Direct RDMA，簡(jiǎn)化通信鏈路，大幅降低延遲、提升吞吐。并且開(kāi)發(fā)過(guò)程遵循阿姆達(dá)爾定律（Amdahl's law），將盡可能多的環(huán)節(jié)加速，整體的性能才能最優(yōu)。

但實(shí)際上，火山引擎視頻團(tuán)隊(duì)遇到了不同模塊之間通信不暢，整體性能不高等諸多問(wèn)題。本質(zhì)上是因?yàn)橐曨l處理變得越來(lái)越復(fù)雜，環(huán)節(jié)越來(lái)越多。2000 年 FFmpeg 剛出現(xiàn)的時(shí)候，需要面對(duì)的編解碼需求是非常簡(jiǎn)單的，單機(jī)、個(gè)人用戶、簡(jiǎn)單處理、容錯(cuò)要求低、用戶耐心強(qiáng)。但是用戶對(duì)于視頻處理的要求已經(jīng)今非昔比，算法和應(yīng)用的復(fù)雜度越來(lái)越高，用戶體驗(yàn)要求也越來(lái)越高。以前用戶在電腦前長(zhǎng)時(shí)間等待編解碼完成的耐心，已經(jīng)被短視頻的秒級(jí)延遲，甚至 VR/AR、云游戲這樣的毫秒級(jí)延遲所取代。視頻處理涉及的技術(shù)棧也越來(lái)越多，包括編解碼、圖像處理、深度學(xué)習(xí)甚至圖像渲染。

NVIDIA 加速火山引擎為視頻云

提供更理想的處理框架：BMF

面對(duì)這些挑戰(zhàn)，NVIDIA 和火山引擎緊密合作開(kāi)發(fā)了 BMF，旨在幫助企業(yè)和開(kāi)發(fā)者將各類視頻的原子能力與方案做到優(yōu)勢(shì)互補(bǔ)、協(xié)同工作和快速落地。多媒體處理框架 BMF 的整體架構(gòu)分為應(yīng)用層、框架層、模塊層和異構(gòu)層，共 4 個(gè)部分：

1. 應(yīng)用層：即頂層，為用戶提供多語(yǔ)言的 API，包括 Python、Go、C++，方便用戶根據(jù)不同的項(xiàng)目需求進(jìn)行開(kāi)發(fā)集成。

2. 框架層：即中間層，包括框架對(duì) graph / pipeline 的調(diào)度、跨數(shù)據(jù)類型跨設(shè)備的數(shù)據(jù)流轉(zhuǎn) ackend、以及常用的跨設(shè)備 reformat、color space conversion、tensor 算子等 SDK。

3. 模塊層：包含了具備各種原子能力的模塊，提供多種語(yǔ)言的模塊開(kāi)發(fā)機(jī)制，用戶可根據(jù)自身需要將算法/處理實(shí)現(xiàn)為 Python、Go、C++ 語(yǔ)言的任意一種。

4. 異構(gòu)層：負(fù)責(zé)提供高效的視頻處理算力，包括火山引擎自研的視頻編解碼芯片 ASIC 。

圖 3. BMF 架構(gòu)圖（綠色高亮表示支持 GPU 加速）

火山引擎通過(guò)與 NVIDIA 團(tuán)隊(duì)深入合作，針對(duì) GPU 相關(guān)的框架層能力、處理能力進(jìn)行了深度優(yōu)化，從框架層和模塊層對(duì) BMF 都進(jìn)行了深入改造，針對(duì)各種場(chǎng)景進(jìn)行了開(kāi)發(fā)和測(cè)試，并且貢獻(xiàn)了多種應(yīng)用層示例。BMF 提供了豐富的 GPU 即用模塊，低門檻的擴(kuò)展方式，多語(yǔ)言接口以及各類主流框架 SDK 的簡(jiǎn)單接入，方便用戶快速打造高效的全 GPU 視頻處理流水線，有效解決前文所述的開(kāi)發(fā)效率低，鏈路缺乏整體優(yōu)化的問(wèn)題。這一系列的工作，使得 GPU 能夠充分發(fā)揮其強(qiáng)大的并行計(jì)算能力，應(yīng)用于各類視頻 AI 場(chǎng)景。

比如在大型活動(dòng)直播、電商直播間等場(chǎng)景中，通過(guò)“極致超清”技術(shù)，能夠有效提升畫(huà)質(zhì)體驗(yàn)；針對(duì)不同損傷情況的經(jīng)典影片，通過(guò)“AI 修復(fù)”技術(shù)，能夠?qū)p傷后的影片進(jìn)行全面的畫(huà)質(zhì)提升；在 VR/AR 等復(fù)雜圖像場(chǎng)景中，通過(guò)“ VR 360° 全景圖像技術(shù)”幫助圖像實(shí)現(xiàn)更加高清的效果。

火山引擎總裁譚待表示：“在營(yíng)銷、空間、商業(yè)和知識(shí)的交互體驗(yàn)都在發(fā)生變化的視頻化時(shí)代，視頻云技術(shù)因其從視頻生產(chǎn)，處理、傳輸至消費(fèi)的全鏈路技術(shù)能力被賦予了重要使命。隨著 AIGC、XR 等技術(shù)的興起，新技術(shù)與視頻云的融合將帶來(lái)更多創(chuàng)新和價(jià)值。”

字節(jié)跳動(dòng)視頻架構(gòu)負(fù)責(zé)人、火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅表示：“BMF 框架是基于抖音多年實(shí)踐打磨出來(lái)的，火山引擎又?jǐn)y手 NVIDIA 針對(duì) GPU 相關(guān)能力進(jìn)行了深度優(yōu)化，使其能夠發(fā)揮更強(qiáng)大的并行計(jì)算能力。“

目前，BMF 已經(jīng)全面開(kāi)源，包含 BMF 框架層整體開(kāi)源、9 個(gè)開(kāi)箱即用案例、20+ API 調(diào)用范例，旨在幫助開(kāi)發(fā)者低成本地構(gòu)建視頻應(yīng)用。

歡迎訪問(wèn)BMF Github（https://github.com/BabitMF/bmf）頁(yè)面，了解更多信息。

數(shù)據(jù)來(lái)源：

[1] 資料來(lái)源于 QuestMobile 研究院《2023 內(nèi)容視頻化與商業(yè)化洞察報(bào)告》：https://www.questmobile.com.cn/research/report/1678658723797635073 。[2] 資料來(lái)源于艾瑞咨詢《2022 年中國(guó)視頻云服務(wù)行業(yè)研究報(bào)告》：https://report.iresearch.cn/report/202207/4038.shtml。 GTC 2024 將于 2024 年 3 月 18 至 21 日在美國(guó)加州圣何塞會(huì)議中心舉行，線上大會(huì)也將同期開(kāi)放。點(diǎn)擊“閱讀原文”或掃描下方海報(bào)二維碼，關(guān)注更多會(huì)議及活動(dòng)信息。