加速訓練和測試時擴展推理，加速 AI 推理、代理式 AI 和物理 AI。

? 全球領先計算機制造商、云服務提供商和 GPU 云供應商將強化訓練和測試時擴展推理能力，從邏輯推理到代理式 AI和物理 AI。
? 全新開源的 NVIDIA Dynamo 推理軟件，通過顯著提升吞吐量、更快的響應速度以及降低總體擁有成本（TCO），實現(xiàn)推理 AI 服務的規(guī)模化擴展。
? NVIDIA Spectrum-X 增強型 800G 以太網(wǎng)網(wǎng)絡，為 AI 基礎設施顯著降低延遲和抖動。

NVIDIA 推出 NVIDIA BlackwellAI 工廠平臺的新一代產(chǎn)品 —— NVIDIA Blackwell Ultra，開啟了 AI 推理新時代。

NVIDIA Blackwell Ultra 提升了訓練和測試時擴展推理能力（test-time scaling inference）， 即通過在推理過程中增加計算量來提升準確率的技術，以幫助全球各地的企業(yè)加速AI推理、代理式AI及物理AI等應用的開發(fā)與部署。

基于一年前推出的突破性的 Blackwell 架構，Blackwell Ultra 包括 NVIDIA GB300 NVL72 機架級解決方案和 NVIDIA HGX? B300 NVL16 系統(tǒng)。 GB300 NVL72 的 AI 性能是NVIDIA GB200 NVL72 的 1.5 倍，這使得建造 AI 工廠 的收入機會與基于NVIDIA Hopper?構建的系統(tǒng)相比增加了 50 倍。

“人工智能實現(xiàn)了巨大的飛躍 —— 推理和代理式AI對計算性能的需求呈數(shù)量級增長，”NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示?！拔覀?yōu)檫@一時刻設計了 Blackwell Ultra —— 它是一款單一且多功能的平臺，能夠輕松高效地完成預訓練、后訓練以及推理型AI推理任務。”

NVIDIA Blackwell Ultra 實現(xiàn) AI 推理

NVIDIA GB300 NVL72 在一個機架設計中連接了 72 個 Blackwell Ultra GPU 和 36 個基于Arm Neoverse 架構的 NVIDIA Grace? CPU，整體表現(xiàn)如同一個巨型 GPU，專為測試時擴展而打造。通過 GB300 NVL72，AI 模型能夠利用平臺增強的計算能力探索多種解決方案，將復雜請求分解為多個步驟，從而生成更高質量的響應。

GB300 NVL72 預計還將通過 NVIDIA DGX? Cloud提供，該平臺是一個端到端的全托管 AI 平臺，部署于領先的云服務上，通過軟件、服務和 AI 專業(yè)知識為不斷發(fā)展的工作負載優(yōu)化性能。配備 DGX GB300 系統(tǒng)的 NVIDIA DGX SuperPOD? 采用 GB300 NVL72 機架設計，為客戶提供了一個交鑰匙式 AI 工廠。

NVIDIA HGX B300 NVL16 相比 Hopper 代產(chǎn)品，LLM 推理速度提速了 11 倍，計算性能提升了 7 倍，內(nèi)存容量擴大了 4 倍，可為最復雜的工作負載（如 AI 推理）提供突破性性能。

此外，Blackwell Ultra 平臺特別適用于以下應用：

• 代理式 AI， 利用復雜推理和迭代規(guī)劃自主解決復雜的多步驟問題。 AI 智能體系統(tǒng)超越了簡單的指令執(zhí)行。 他們能夠推理、規(guī)劃并采取行動以實現(xiàn)特定目標。
• 物理 AI，使企業(yè)能夠實時生成合成的、具有高度真實感的視頻，用于大規(guī)模訓練機器人和自動駕駛汽車等應用。

NVIDIA 橫向擴展基礎架構以實現(xiàn)絕佳性能

先進的橫向擴展型網(wǎng)絡是 AI 基礎架構的重要組成部分，可在降低延遲和抖動的同時提供卓越性能。

Blackwell Ultra 系統(tǒng)與[ NVIDIA Spectrum-X? 以太網(wǎng)]和[ NVIDIA Quantum-X800 InfiniBand]平臺無縫集成，通過 NVIDIA ConnectX?-8 SuperNIC 為系統(tǒng)中的每個 GPU 提供 800 Gb/s 的數(shù)據(jù)吞吐率。 這為 AI 工廠和云數(shù)據(jù)中心提供了極佳的遠程直接內(nèi)存訪問（RDMA）能力，使其能夠無瓶頸地處理 AI 推理模型。

NVIDIA BlueField?-3 DPU，作為 Blackwell Ultra 系統(tǒng)的重要組件，能夠實現(xiàn)多租戶網(wǎng)絡架構、GPU 計算資源彈性擴展、數(shù)據(jù)訪問加速以及實時網(wǎng)絡安全檢測 。

全球技術領導者擁抱 Blackwell Ultra

合作伙伴預計將從 2025 年下半年開始推出基于 Blackwell Ultra 的產(chǎn)品。

思科、戴爾科技、慧與、聯(lián)想和超微預計將推出基于 Blackwell Ultra 的各類服務器，此外還包括 Aivres、華擎、華碩、Eviden、Foxconn、技嘉科技、英業(yè)達、和碩、云達科技（QCT）、緯創(chuàng)和緯穎科技。

云服務提供商亞馬遜云科技（AWS）、谷歌云、微軟 Azure 和 Oracle Cloud Infrastructure（OCI），以及 GPU 云提供商 CoreWeave、Crusoe、Lambda、Nebius、Nscale、Yotta 和 YTL 將成為首批提供 Blackwell Ultra 支持實例的供應商。

NVIDIA 軟件創(chuàng)新減少 AI 瓶頸

全部 NVIDIA Blackwell 產(chǎn)品組合都得到 NVIDIA AI 全棧平臺支持。 同時發(fā)布的 [NVIDIA Dynamo]開源推理框架可擴展推理 AI 服務，通過提供最高效的測試時計算擴展解決方案，得以實現(xiàn)吞吐量的飛躍，同時降低響應時間和模型服務成本。

NVIDIA Dynamo 是全新的 AI 推理服務軟件，旨在為部署推理 AI 模型的 AI 工廠最大化 token 收益。它可以協(xié)調和加速數(shù)千個 GPU 之間的推理通信，并使用分離式服務在不同的 GPU 上分離大語言模型的預處理和生成階段。這使得每個階段都能根據(jù)其特定需求進行獨立優(yōu)化，確保 GPU 資源利用率最大化。

Blackwell 系統(tǒng)非常適合運行全新的 [NVIDIA Llama Nemotron 推理模型]和 NVIDIA AI-Q Blueprint，這些都得到用于生產(chǎn)級 AI 的 [NVIDIA AI Enterprise]軟件平臺支持。 NVIDIA AI Enterprise 軟件平臺包括 [NVIDIA NIM][?][ 微服務]，以及企業(yè)可以在 NVIDIA 加速的云、數(shù)據(jù)中心和工作站上部署的 AI 框架、庫和工具。

Blackwell 平臺建立在 NVIDIA 強大的開發(fā)工具生態(tài)系統(tǒng)之上，包括 NVIDIA CUDA-X? 庫、超過 600 萬開發(fā)者和 4,000 多個可跨數(shù)千 GPU 擴展性能的應用程序。