在 SIGGRAPH 上推出的全新深度學(xué)習(xí)框架可用于打造自動(dòng)駕駛汽車(chē)、氣候科學(xué)和智慧城市的 AI 就緒型虛擬表示。

NVIDIA 在 SIGGRAPH 上推出了 fVDB，這是一種全新的深度學(xué)習(xí)框架，用于生成現(xiàn)實(shí)世界的 AI 就緒型虛擬表示。

fVDB 基于 OpenVDB 構(gòu)建而成，OpenVDB 是一個(gè)行業(yè)標(biāo)準(zhǔn)庫(kù)，用于仿真和渲染稀疏體積數(shù)據(jù)，例如水、火、煙和云。

生成式物理 AI（例如現(xiàn)實(shí)世界中的自動(dòng)駕駛汽車(chē)和機(jī)器人）需要具備“空間智能”，即能夠理解 3D 空間并能在 3D 空間中運(yùn)作。

捕獲我們周?chē)澜绲暮暧^細(xì)節(jié)和超微細(xì)節(jié)至關(guān)重要。不過(guò)，將現(xiàn)實(shí)轉(zhuǎn)化為虛擬表示來(lái)訓(xùn)練 AI 非常困難。

現(xiàn)實(shí)環(huán)境的原始數(shù)據(jù)可以通過(guò)多種不同的技術(shù)收集，例如神經(jīng)輻射場(chǎng)（NeRF）和激光雷達(dá)。fVDB 能夠?qū)⑦@些數(shù)據(jù)轉(zhuǎn)化為實(shí)時(shí)渲染、規(guī)模龐大的 AI 就緒型環(huán)境。

依托于十年來(lái)在 OpenVDB 標(biāo)準(zhǔn)方面的不斷創(chuàng)新， fVDB 在 SIGGRAPH 上的推出，標(biāo)志著各行各業(yè)在如何利用現(xiàn)實(shí)世界的數(shù)字孿生方面實(shí)現(xiàn)了巨大飛躍。

現(xiàn)實(shí)規(guī)模的虛擬環(huán)境正在廣泛用于訓(xùn)練自主智能體。例如，通過(guò)無(wú)人機(jī)捕獲城市規(guī)模的 3D 模型，用于氣候科學(xué)和災(zāi)害防范規(guī)劃。如今，3D 生成式 AI 甚至被用于規(guī)劃城市空間和智慧城市。

fVDB 使各行各業(yè)能夠以前所未有的規(guī)模和分辨率利用空間智能，從而使物理 AI 更加智能。

該框架能夠基于 NanoVDB（GPU 加速的數(shù)據(jù)結(jié)構(gòu)，有助于實(shí)現(xiàn)高效的 3D 仿真）構(gòu)建 NVIDIA 加速的 AI 算子。這些算子包括卷積、池化、注意力機(jī)制和網(wǎng)格化，它們都是針對(duì)高性能 3D 深度學(xué)習(xí)應(yīng)用而構(gòu)建的。

借助 AI 算子，企業(yè)能夠構(gòu)建復(fù)雜的神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)空間智能，例如大規(guī)模點(diǎn)云重建和 3D 生成式建模。

fVDB 是 NVIDIA 研究團(tuán)隊(duì)長(zhǎng)期努力的成果，已經(jīng)用于為 NVIDIA Research、NVIDIA DRIVE 和 NVIDIA Omniverse 項(xiàng)目提供支持，這些項(xiàng)目需要大型復(fù)雜現(xiàn)實(shí)世界空間的高保真模型。

fVDB 的主要優(yōu)勢(shì)

更大：空間規(guī)模是以往框架的 4 倍。

更快：速度是以往框架的 3.5 倍。

可互操作：企業(yè)可以充分利用龐大的現(xiàn)實(shí)世界數(shù)據(jù)集。fVDB 能夠根據(jù) VDB 數(shù)據(jù)集打造全尺寸 3D 環(huán)境。支持 AI 且實(shí)時(shí)渲染，可用于打造具有空間智能的物理 AI。

更強(qiáng)大：能夠運(yùn)行的算子是以往框架的 10 倍。fVDB 通過(guò)結(jié)合使用以往需要多個(gè)深度學(xué)習(xí)庫(kù)的功能，簡(jiǎn)化了流程。

fVDB 很快將以 NVIDIA NIM 推理微服務(wù)的形式推出。通過(guò)三項(xiàng)微服務(wù)，企業(yè)可以將 fVDB 整合到 OpenUSD 工作流中，以便在用于實(shí)時(shí) 3D 仿真的協(xié)作平臺(tái) NVIDIA Omniverse 中生成 AI 就緒型 OpenUSD 幾何體。這三項(xiàng)微服務(wù)是：

fVDB Mesh Generation NIM：生成現(xiàn)實(shí)世界的數(shù)字化 3D 環(huán)境。

fVDB NeRF-XL NIM：利用 Omniverse Cloud API 和 OpenUSD 生成大規(guī)模 NeRF。

fVDB Physics Super-Res NIM：執(zhí)行超分辨率技術(shù)，以便生成基于 OpenUSD 的高分辨率物理仿真。

在過(guò)去的十年中，OpenVDB 作為在視覺(jué)效果行業(yè)中廣泛運(yùn)用的核心技術(shù)贏得了多項(xiàng)學(xué)術(shù)大獎(jiǎng)。它的應(yīng)用領(lǐng)域已從娛樂(lè)行業(yè)擴(kuò)展到工業(yè)和科學(xué)，例如工業(yè)設(shè)計(jì)和機(jī)器人開(kāi)發(fā)。

NVIDIA 一直在不斷增強(qiáng)開(kāi)源 OpenVDB 庫(kù)。四年前，NVIDIA 推出了 NanoVDB，為 OpenVDB 添加了 GPU 支持。這不僅帶來(lái)了速度飛升，提升了性能，簡(jiǎn)化了開(kāi)發(fā)，而且開(kāi)啟了實(shí)時(shí)仿真和渲染的大門(mén)。

兩年前，NVIDIA 推出了 NeuralVDB，它能夠基于 NanoVDB 構(gòu)建機(jī)器學(xué)習(xí)，將 VDB 體積數(shù)據(jù)的內(nèi)存占用量壓縮多達(dá) 100 倍，使創(chuàng)作者、開(kāi)發(fā)者和研究人員能夠與極其龐大、高度復(fù)雜的數(shù)據(jù)集進(jìn)行交互。

fVDB 能夠基于 NanoVDB 構(gòu)建 AI 算子，以現(xiàn)實(shí)規(guī)模解鎖空間智能。歡迎申請(qǐng)參與搶先體驗(yàn)計(jì)劃，提前體驗(yàn) fVDB PyTorch 擴(kuò)展。fVDB 還將作為 OpenVDB GitHub 資源庫(kù)的一部分提供。

閱讀技術(shù)博客《Building Spatial Intelligence from Real-World 3D Data Using Deep-Learning Framework fVDB》，深入了解 fVDB，也可以觀看 NVIDIA 首席執(zhí)行官黃仁勛在 SIGGRAPH 上的兩場(chǎng)爐邊談話，了解加速計(jì)算和生成式 AI 正在如何改變著各行各業(yè)并帶來(lái)新的創(chuàng)新和發(fā)展機(jī)會(huì)。