NVIDIA 發(fā)布一系列涵蓋語音、安全與輔助駕駛領域的全新 AI 工具，其中包括面向移動出行領域的行業(yè)級開源視覺-語言-動作推理模型（Reasoning VLA）NVIDIA DRIVE Alpamayo-R1。此外，一項新的獨立基準測試認可了 NVIDIA Nemotron 模型及數(shù)據(jù)集的開放性與透明度。

全球研究人員將開源技術作為其工作的基礎。為使業(yè)界能夠獲取數(shù)字與物理 AI 領域的最新成果，NVIDIA 正進一步擴展其開源 AI 模型、數(shù)據(jù)集及工具庫，這些資源幾乎可以應用于所有研究領域。

在全球頂級 AI 會議NeurIPS上，NVIDIA 發(fā)布了支持科學研究的開放式物理 AI 模型與工具，其中包括面向輔助駕駛的行業(yè)級開源 VLA 推理模型 Alpamayo-R1。在數(shù)字 AI 領域，NVIDIA 推出了面向語音處理與 AI 安全領域的新模型及數(shù)據(jù)集。

NVIDIA 研究人員將在本次大會上帶來 70 余篇論文、演講及專題研討會，分享涵蓋 AI 推理、醫(yī)學研究、智能汽車開發(fā)等多個領域的創(chuàng)新項目。

這些舉措進一步深化了 NVIDIA 對開源生態(tài)的承諾。這一努力獲得了獨立 AI 基準測試機構Artificial Analysis最新“開放性指數(shù)” (Openness Index) 的認可。該指數(shù)基于模型許可的開放性、數(shù)據(jù)透明度及技術細節(jié)的可用性，將NVIDIA Nemotron系列開源技術評為 AI 生態(tài)系統(tǒng)中最開放的前沿 AI 開發(fā)技術之一。

NVIDIA DRIVE Alpamayo-R1 為輔助駕駛開辟了全新的研究前沿

NVIDIA DRIVE Alpamayo-R1 (AR1)作為面向輔助駕駛研究的開源 VLA 推理模型，創(chuàng)新性地將思維鏈 AI 推理與路徑規(guī)劃技術深度融合。該技術對于提升輔助駕駛系統(tǒng)在復雜路況下的安全性以及實現(xiàn)L4 級自動駕駛至關重要。

此前的輔助駕駛模型在復雜場景下易于出錯，例如人流密集的路口、前方車道即將封閉，或者有車輛在自行車道上違規(guī)停車。推理能力賦予了輔助駕駛系統(tǒng)類人的“常識”，讓它們像人類一樣更自然地駕駛。

AR1 通過對場景進行分解并逐步推理來實現(xiàn)這一目標。它會考慮所有可能的軌跡后，結合上下文數(shù)據(jù)選擇最優(yōu)路線。

舉例而言，在行人密集且緊鄰自行車道的區(qū)域，搭載 AR1 的智能汽車可通過思維鏈進行推理：首先采集行駛路徑數(shù)據(jù)，同時整合推理軌跡 (即系統(tǒng)對采取特定操作的解釋說明)，繼而利用這些信息規(guī)劃后續(xù)行駛路線，例如主動避讓自行車道或為潛在橫穿馬路的行人提前減速或停車。

AR1 基于NVIDIA Cosmos Reason構建的開放式基礎架構，使研究人員能夠根據(jù)自身非商業(yè)用途需求定制模型，包括用于基準測試與開發(fā)實驗性輔助駕駛應用。

對于經(jīng)過后訓練的 AR1，強化學習表現(xiàn)出了顯著效果，研究人員觀察到，相比預訓練模型，AR1 的推理能力有了大幅提升。

NVIDIA DRIVE Alpamayo-R1 將在 GitHub 和 Hugging Face 平臺開放獲取，以及用于訓練和評估該模型的數(shù)據(jù)子集已收錄于NVIDIA 物理 AI 開放數(shù)據(jù)集。NVIDIA 同時發(fā)布了用于評估 AR1 的開源框架AlpaSim。

深入了解用于輔助駕駛的 VLA 推理模型(中文字幕)。

為任意物理 AI 應用場景定制 NVIDIA Cosmos

開發(fā)者現(xiàn)可通過 Cosmos Cookbook 中的分步指南，快速入門推理示例和高級后訓練工作流，學習如何使用和后訓練基于 Cosmos 的模型。這本面向物理 AI 開發(fā)者的綜合指南涵蓋了 AI 開發(fā)的全流程，包括數(shù)據(jù)整理、合成數(shù)據(jù)生成及模型評估。

Cosmos 支持的應用場景極為豐富。NVIDIA 的最新案例包括：

LidarGen，為輔助駕駛仿真生成激光雷達數(shù)據(jù)的世界模型。

Omniverse NuRec Fixer，一款面向輔助駕駛與機器人仿真的模型，可依托NVIDIA CosmosPredict，近乎即時的修復神經(jīng)重建數(shù)據(jù)中的瑕疵，如新視角或噪聲數(shù)據(jù)導致的模糊與區(qū)域缺失問題。

Cosmos Policy，將大型預訓練視頻模型轉(zhuǎn)化為穩(wěn)健機器人策略的框架——該策略可指導機器人行為的一系列規(guī)則。

ProtoMotions3，基于 NVIDIA Newton 和 Isaac Lab 構建的開源 GPU 加速框架，用于訓練物理仿真的數(shù)字人與人形機器人，其逼真場景由Cosmos 世界基礎模型 (WFM)生成。

此為基于 Cosmos 構建的 LidarGen 模型輸出示例。上方圖片展示了疊加生成激光雷達數(shù)據(jù)的輸入數(shù)據(jù)。中間圖像呈現(xiàn)了生成與真實激光雷達距離圖對比。左下角為真實激光雷達點云，右下角則展示了由 LidarGen 生成的點云。

策略模型可在 NVIDIA Isaac Lab 和 Isaac Sim 中進行訓練，隨后可利用策略模型生成的數(shù)據(jù)對適用于機器人的 NVIDIA GR00T N 系列模型進行后訓練。

在 Isaac Sim 中使用 ProtoMotions3 訓練的人形機器人策略，其 3D 背景場景由 Lyra 基于 Cosmos 世界基礎模型生成。

NVIDIA 生態(tài)合作伙伴正利用 Cosmos 世界基礎模型開發(fā)其最新技術。

輔助駕駛開發(fā)商Voxel51正為 Cosmos Cookbook 貢獻模型實施方案。物理 AI 開發(fā)商1X、Figure AI、Foretellix、Gatik、Oxa、PlusAI 和X-Humanoid均在其最新物理 AI 應用中采用世界基礎模型技術。蘇黎世聯(lián)邦理工學院的研究團隊將在NeurIPS會議上發(fā)表論文，重點展示如何利用 Cosmos 模型創(chuàng)建逼真且連貫的 3D 場景。

NVIDIA Nemotron 新功能擴充數(shù)字 AI 開發(fā)工具集

NVIDIA 同步發(fā)布了全新的多說話人語音 AI模型、一款具備推理能力的新模型，以及用于 AI 安全的數(shù)據(jù)集，并推出可生成高質(zhì)量合成數(shù)據(jù)集的開源工具，以支持強化學習和特定領域模型定制。這些工具包括：

MultiTalker Parakeet：一款面向流媒體音頻的多說話人自動語音識別模型，即使在對話重疊或語速較快的對話中，也能準確識別不同說話人的內(nèi)容。

Sortformer：一款先進的實時多說話人分割模型，能夠在音頻流精準識別不同說話者的語音片段 (該過程稱為聲紋分割)。

Nemotron 內(nèi)容安全推理模型：一個基于邏輯推理的 AI 安全模型，能夠跨領域動態(tài)執(zhí)行定制化策略。

Nemotron 內(nèi)容安全音頻數(shù)據(jù)集：一個合成數(shù)據(jù)集，可用于訓練模型以識別不安全音頻內(nèi)容，從而助力開發(fā)能同時適用于文本和音頻的跨模態(tài)護欄。

NeMo Gym：一個用于加速和簡化大語言模型訓練中強化學習環(huán)境開發(fā)的開源庫。該庫還提供了不斷豐富的即用型訓練環(huán)境集合，以支持基于可驗證獎勵的強化學習 (RLVR) 訓練方法。

NeMo 數(shù)據(jù)設計庫：該庫現(xiàn)已基于 Apache 2.0 協(xié)議開源，提供了一套端到端工具集，用于生成、驗證并優(yōu)化生成式 AI 開發(fā)所需的高質(zhì)量合成數(shù)據(jù)集，還涵蓋領域特定模型定制與評估功能。

采用 NVIDIA Nemotron 和 NeMo 工具構建安全、專業(yè)化的代理式 AI 的 NVIDIA 生態(tài)系統(tǒng)合作伙伴包括 CrowdStrike、Palantir 和 ServiceNow。

NVIDIA 研究中心推動語言 AI 創(chuàng)新

在 NeurIPS 大會上發(fā)布了數(shù)十篇 NVIDIA 研究論文，以下幾篇是推進語言模型發(fā)展的重點研究成果：

Audio Flamingo 3：通過完全開源的大型音頻語言模型推動音頻智能發(fā)展：該大型音頻語言模型具備跨語音、聲音與音樂的推理能力，可理解并推理長達 10 分鐘的音頻片段，在超過 20 項基準測試中取得了業(yè)界領先的性能表現(xiàn) (SOTA)。

Minitron-SSM：通過分組感知 SSM 剪枝實現(xiàn)高效混合語言模型壓縮：該研究提出一種可壓縮混合模型的新剪枝方法，通過對 Nemotron-H 8B 模型進行剪枝與蒸餾，將其參數(shù)從 80 億壓縮至 40 億。所得模型在精度上超越同規(guī)模模型，同時實現(xiàn)推理吞吐量兩倍提升。

Jet-Nemotron：基于后神經(jīng)架構搜索 (Post Neural Architecture Search, PostNAS) 的高效語言模型：該研究提出了一種高性價比的后訓練流程，用于開發(fā)新型高效語言模型架構，并介紹了通過該流程生成的混合架構模型系列。該系列模型在精度上達到或超越了目前領先的全注意力基線模型的同時，顯著提升生成吞吐量。

Nemotron-Flash：面向延遲優(yōu)化的混合小語言模型：該項目提出一種全新小語言模型 (SLM) 架構，其設計核心從參數(shù)數(shù)量轉(zhuǎn)向真實場景的延遲優(yōu)化，最終在速度與精度方面均達到業(yè)界領先水平。

ProRL：延長強化學習拓展大語言模型的推理邊界：延長強化學習 (ProRL) 是一種通過延長模型訓練周期提升性能的技術。在這篇NeurIPS論文中，NVIDIA 研究人員闡述了該方法如何使模型在推理能力上持續(xù)超越基礎模型。