借助 ComfyUI 的應(yīng)用視圖、NVIDIA RTX Video 超分辨率和全新的 NVFP4 模型,AI 驅(qū)動(dòng)的視頻生成更加易用。
游戲開(kāi)發(fā)者和設(shè)計(jì)師正在構(gòu)建電影級(jí)的游戲世界與標(biāo)志性的角色,不斷提升基于NVIDIA RTX AI PC的沉浸式體驗(yàn)標(biāo)準(zhǔn)。
在本周于舊金山舉行的游戲開(kāi)發(fā)者大會(huì)(GDC)上,NVIDIA 宣布了一系列更新,旨在借助RTX GPU 和 NVIDIA DGX Spark 桌面超級(jí)計(jì)算機(jī),加速并簡(jiǎn)化用于概念設(shè)計(jì)和分鏡創(chuàng)作的 AI 視頻生成工作流。
這些發(fā)布內(nèi)容包括:
ComfyUI 推出全新的應(yīng)用視圖,采用更簡(jiǎn)化的界面,降低這款熱門生成式 AI 工具的使用門檻。
RTX Video 超分辨率現(xiàn)已支持 ComfyUI,適用于將生成的視頻實(shí)時(shí)升級(jí)至 4K分辨率。開(kāi)發(fā)者也可通過(guò) Python Wheel 安裝。
Lightricks 的 LTX-2.3 和 Black Forest Labs 的 FLUX.2 Klein 模型,發(fā)布 NVFP4 和 FP8 模型變體,實(shí)現(xiàn)最高可達(dá) 2.5 倍性能提升并降低 60% 的顯存占用。
無(wú)縫本地 AI:協(xié)作、優(yōu)化、自定義
許多熱門的 AI 應(yīng)用已經(jīng)讓初學(xué)者更容易在筆記本電腦或臺(tái)式機(jī)上直接嘗試最先進(jìn)的模型。
對(duì)于不熟悉節(jié)點(diǎn)工作流的設(shè)計(jì)師來(lái)說(shuō),ComfyUI 全新的應(yīng)用視圖,通過(guò)簡(jiǎn)化界面來(lái)呈現(xiàn)工作流。用戶只需輸入提示詞、調(diào)整簡(jiǎn)單參數(shù)并點(diǎn)擊生成即可。完整的節(jié)點(diǎn)工作流體驗(yàn)仍然以節(jié)點(diǎn)視圖 形式保留,用戶可以在兩種模式之間無(wú)縫切換。
應(yīng)用視圖 與 ComfyUI 中的 RTX 優(yōu)化完全兼容。自 9 月以來(lái),RTX GPU 的體驗(yàn)性能已提升 40%,同時(shí) ComfyUI 現(xiàn)已原生支持 NVFP4 和 FP8 數(shù)據(jù)格式。綜合來(lái)看,在 NVIDIA GeForce RTX 50 系列 GPU 上使用 NVFP4 格式時(shí),性能最高可提升 2.5 倍并減少 60% 的顯存占用。使用 FP8 時(shí),性能最高可提升 1.7 倍并減少 40% 的顯存占用。
1 月在 CES 上 NVIDIA 宣布多款模型將支持 NVFP4 和 FP8?,F(xiàn)有更多 NVFP4 和 FP8 模型可直接在 ComfyUI 中使用,包括 LTX-2.3、FLUX.2 Klein 4B 和 FLUX.2 Klein 9B。用戶使用時(shí)可在 ComfyUI 中通過(guò)模板瀏覽器加載默認(rèn)工作流,并用新下載的模型文件替換默認(rèn)模型 。
應(yīng)用視圖模式于 3 月 10 日上線。
更快的 4K 視頻生成
獲得高質(zhì)量視頻輸出通常需要在三個(gè)限制條件之間進(jìn)行權(quán)衡:速度、顯存占用和可控制性。藝術(shù)家希望最終能獲得 4K 高質(zhì)量視頻,但大多數(shù)情況下會(huì)先生成更小、更快的預(yù)覽,然后再進(jìn)行分辨率提升。目前的分辨率提升功能(Upscaler)將一段 10 秒的視頻提升到 4K 分辨率通常需要數(shù)分鐘時(shí)間。
現(xiàn)在,用戶可以通過(guò) NVIDIA RTX Video 超分辨率快速將生成的視頻提升到 4K,該功能已作為 ComfyUI 的一個(gè)節(jié)點(diǎn)提供。RTX Video 可以作為獨(dú)立節(jié)點(diǎn)使用,用于從零構(gòu)建視頻工作流。NVIDIA 為 AI 開(kāi)發(fā)者發(fā)布了一個(gè)免費(fèi)的 Python 軟件包,可通過(guò)PyPI 倉(cāng)庫(kù)獲取,并提供示例腳本以便快速上手。該軟件包提供對(duì)驅(qū)動(dòng) RTX Video 的同款 AI 分辨率提升技術(shù)的程序化訪問(wèn),直接在 RTX GPU Tensor Cores 上運(yùn)行,4K 分辨率提升速度比其他本地部署的主流分辨率提升功能快 30 倍,僅需極低的顯存占用。

基于 NVIDIA RTX 5090 GPU 的 LTX?2 與 FLUX.2 Klein 9B 生成式 AI 模型性能表現(xiàn)。性能測(cè)試均在 RTX 5090 上完成。LTX?2:512×768 分辨率,100 幀,20 步迭代;FLUX.2 Klein 9B:1024×1024 分辨率,20 步迭代。
#別錯(cuò)過(guò) — NVIDIA RTX AI PC 的最新進(jìn)展
LM Link可連接運(yùn)行 LM Studio 的不同設(shè)備,使模型能像在本地一樣在遠(yuǎn)程機(jī)器上運(yùn)行。這對(duì)于希望在筆記本電腦上運(yùn)行智能體,并同時(shí)利用 DGX Spark 或 RTX 臺(tái)式機(jī)提供免費(fèi)并私密的 AI 性能的用戶來(lái)說(shuō),是理想的解決方案。查看鏈接了解如何在DGX Spark 上運(yùn)行 LM Studio。
3 月 31 日,NVIDIA App 測(cè)試版的 DLSS 優(yōu)設(shè)功能將更新 NVIDIA DLSS 4.5 動(dòng)態(tài)多幀生成 和 DLSS 4.5 6 倍多幀生成模式,面向 GeForce RTX 50 系列用戶。查看鏈接了解NVIDIA 在 GDC 上的最新消息。
下個(gè)月,NVIDIA RTX Remix 將更新引入 高級(jí)粒子特效 (Advanced Particle VFX),使 Modder 能夠創(chuàng)建多種粒子效果,進(jìn)一步提升畫質(zhì)、細(xì)節(jié)和沉浸感。
Topaz Labs與 NVIDIA 合作, NeuroStream 對(duì) NVIDIA GPU 進(jìn)行了優(yōu)化,采用一項(xiàng)專有的顯存優(yōu)化技術(shù),使復(fù)雜的 AI 模型能在消費(fèi)級(jí)硬件上運(yùn)行。
微軟推出對(duì) VoiceMod 的支持,這是最早支持 Windows ML 進(jìn)行 GPU 推理的應(yīng)用之一,與 使用 CPU 相比可顯著提升語(yǔ)音質(zhì)量和性能。
-
視頻
+關(guān)注
關(guān)注
6文章
2011瀏覽量
75175 -
NVIDIA
+關(guān)注
關(guān)注
14文章
5682瀏覽量
110086 -
AI
+關(guān)注
關(guān)注
91文章
40908瀏覽量
302486
原文標(biāo)題:NVIDIA 和 ComfyUI 攜手簡(jiǎn)化本地 AI 視頻生成工作流,賦能游戲開(kāi)發(fā)者和創(chuàng)作者
文章出處:【微信號(hào):NVIDIA_China,微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
全面掌握ComfyUI系統(tǒng)教程|94節(jié)從入門到進(jìn)階實(shí)戰(zhàn)清單
工作流節(jié)點(diǎn)說(shuō)明---工作流節(jié)點(diǎn)
工作流插件節(jié)點(diǎn)節(jié)點(diǎn)說(shuō)明
NVIDIA發(fā)布面向媒體工作流的AI技術(shù)
工作流大模型節(jié)點(diǎn)說(shuō)明
工作流節(jié)點(diǎn)說(shuō)明結(jié)束節(jié)點(diǎn)
工作流節(jié)點(diǎn)說(shuō)明開(kāi)始節(jié)點(diǎn)
開(kāi)發(fā)工作流創(chuàng)建工作流
是德科技與三星攜手英偉達(dá)展示端到端AI-RAN驗(yàn)證工作流程
利用NVIDIA Nemotron開(kāi)放模型構(gòu)建智能文檔處理系統(tǒng)
生命科學(xué)領(lǐng)先企業(yè)采用 NVIDIA BioNeMo 平臺(tái)加速 AI 驅(qū)動(dòng)的藥物研發(fā)
NVIDIA和ComfyUI攜手簡(jiǎn)化本地AI視頻生成工作流
評(píng)論