通用機(jī)器人的時(shí)代已經(jīng)到來(lái)，這得益于機(jī)械電子技術(shù)和機(jī)器人 AI 基礎(chǔ)模型的進(jìn)步。但目前機(jī)器人技術(shù)的發(fā)展仍面臨一個(gè)關(guān)鍵挑戰(zhàn)：機(jī)器人需要大量的訓(xùn)練數(shù)據(jù)來(lái)掌握諸如組裝和檢查之類的技能，而手動(dòng)演示的方式難以擴(kuò)展。基于NVIDIA Cosmos構(gòu)建的NVIDIA Isaac GR00T-Dreams blueprint，可以通過(guò)單張圖像和語(yǔ)言提示生成海量的合成軌跡數(shù)據(jù)，能夠有效解決這一難題。

利用 Cosmos 世界基礎(chǔ)模型 (WFMs) 和生成式 AI，開(kāi)發(fā)者可以快速創(chuàng)建用于訓(xùn)練諸如NVIDIA Isaac GR00T N1.5（全球首個(gè)面向人形機(jī)器人推理和技能的開(kāi)源基礎(chǔ)模型）等模型的數(shù)據(jù)。

本文將介紹 Isaac GR00T-Dreams blueprint，詳述其先進(jìn)功能及其在開(kāi)發(fā) Isaac GR00T N1.5 基礎(chǔ)模型中的作用。

GR00T-Dreams blueprint 概覽

Isaac GR00T-Dreams blueprint 是用于生成大量合成軌跡數(shù)據(jù)的參考工作流，生成的數(shù)據(jù)可以用于教會(huì)人形機(jī)器人在新環(huán)境中執(zhí)行新動(dòng)作。

借助這一藍(lán)圖，機(jī)器人僅需極少量的人類演示數(shù)據(jù)，就能夠泛化各種行為，并適應(yīng)新的環(huán)境。因此，一個(gè)小型人類演示團(tuán)隊(duì)就能創(chuàng)造出以往需要數(shù)千人才能產(chǎn)出的訓(xùn)練數(shù)據(jù)量。

GR00T-Dreams blueprint 是對(duì)Isaac GR00T-Mimic blueprint的補(bǔ)充。通過(guò)使用NVIDIA Omniverse和 Cosmos Transfer-1 WFM 擴(kuò)展已知任務(wù)的現(xiàn)有演示數(shù)據(jù)，GR00T-Mimic 可幫助機(jī)器人培養(yǎng)深度熟練程度，并成為這些特定技能的專家。GR00T-Dreams 采用 Cosmos Predict-2 和 Cosmos Reason 為新任務(wù)和環(huán)境生成全新數(shù)據(jù)，致力于使機(jī)器人成為具有廣泛適應(yīng)性的通用機(jī)器人。

GR00T-Dreams blueprint 工作流

該藍(lán)圖為訓(xùn)練通用機(jī)器人提供強(qiáng)大的“現(xiàn)實(shí)到現(xiàn)實(shí) (real-to-real)”數(shù)據(jù)工作流，使用真實(shí)機(jī)器人數(shù)據(jù)創(chuàng)建合成軌跡，然后用于訓(xùn)練物理機(jī)器人。這種方法顯著減少了對(duì)大量人類演示的需求。具體步驟如下：

圖 1. GR00T-Dreams blueprint 架構(gòu)

第一步：利用人類演示進(jìn)行后訓(xùn)練

首先，開(kāi)發(fā)者收集用于人形機(jī)器人在單一環(huán)境中執(zhí)行單一任務(wù)（如抓取與放置）的一組有限的人類遠(yuǎn)程操作軌跡。然后利用這些真實(shí)世界數(shù)據(jù)對(duì) Cosmos Predict-2 世界基礎(chǔ)模型進(jìn)行后訓(xùn)練。這一步驟可讓模型學(xué)習(xí)該機(jī)器人特有的特定移動(dòng)能力和功能約束。

第二步：生成“夢(mèng)境”

接下來(lái)，開(kāi)發(fā)者向經(jīng)過(guò)微調(diào)的 Cosmos 模型輸入初始圖像和基于文本的新指令，要求生成的機(jī)器人執(zhí)行相應(yīng)動(dòng)作。這會(huì)促使生成式模型創(chuàng)建大量多樣化和新穎的任務(wù)場(chǎng)景或未來(lái)世界狀態(tài)（也稱為“夢(mèng)境”），例如打開(kāi)、關(guān)閉、整理物體、清潔和分類等。這些場(chǎng)景以 2D 視頻的形式創(chuàng)建。

第三步：推理和過(guò)濾

生成大量“夢(mèng)境”后，Cosmos Reason 模型可用于評(píng)估每個(gè)“夢(mèng)境”的質(zhì)量和成功率。它會(huì)過(guò)濾掉“不好的夢(mèng)境”，也就是描繪不成功或有缺陷的任務(wù)嘗試，確保僅讓高質(zhì)量和相關(guān)的場(chǎng)景進(jìn)入下一階段。

第四步：提取神經(jīng)軌跡

選中的“夢(mèng)境”最初只是 2D 視頻中的像素，隨后利用逆動(dòng)力學(xué)模型 (IDM) 生成 3D 動(dòng)作軌跡。IDM是用于動(dòng)作標(biāo)記的生成式 AI 模型，該模型通過(guò)輸入 2D 視頻中的兩個(gè)圖像幀，即“之前”和“之后”的畫面，預(yù)測(cè)出這兩個(gè)畫面之間發(fā)生的一系列動(dòng)作。

這一步驟將“夢(mèng)境”視頻中的視覺(jué)信息轉(zhuǎn)化為機(jī)器人能夠?qū)W習(xí)的可操作數(shù)據(jù)。這些已添加 3D 動(dòng)作數(shù)據(jù)的 2D 視頻被稱為神經(jīng)軌跡。

第五步：訓(xùn)練視覺(jué)運(yùn)動(dòng)策略

最后，這些神經(jīng)軌跡作為大規(guī)模的合成數(shù)據(jù)集，用于訓(xùn)練視覺(jué)運(yùn)動(dòng)策略，既可以與真實(shí)世界數(shù)據(jù)協(xié)同訓(xùn)練以增強(qiáng)性能，也可以僅通過(guò)對(duì)這些數(shù)據(jù)進(jìn)行訓(xùn)練，來(lái)實(shí)現(xiàn)對(duì)新行為和不可見(jiàn)環(huán)境的泛化。

用于機(jī)器人學(xué)習(xí)的高級(jí)功能

GR00T-Dreams 為機(jī)器人學(xué)習(xí)提供了先進(jìn)的功能，包括新行為、新環(huán)境等。

新行為：即使僅有單一任務(wù)（例如抓取與放置）的訓(xùn)練數(shù)據(jù)，機(jī)器人也能從語(yǔ)言指令中學(xué)習(xí)新動(dòng)作。

由 GR00T-Dreams 支持的機(jī)器人打開(kāi)筆記本電腦的神經(jīng)軌跡和真實(shí)機(jī)器人 (Fourier GR-1) 執(zhí)行情況

新環(huán)境：即使世界模型僅在一個(gè)實(shí)驗(yàn)室環(huán)境中訓(xùn)練過(guò)，機(jī)器人也能夠泛化到完全未見(jiàn)過(guò)的環(huán)境。

由 GR00T-Dreams 支持的機(jī)器人將橘子放入碗中的神經(jīng)軌跡和真實(shí)機(jī)器人 (Fourier GR-1) 執(zhí)行情況

多種機(jī)器人類型：適用于從人形機(jī)器人到機(jī)械臂（如 Franka 和 SO-100）等不同類型的機(jī)器人，并支持多種攝像頭視圖。

由 GR00T-Dreams 支持的 Franka 機(jī)械臂和 SO-100 機(jī)械臂執(zhí)行不同操作任務(wù)

針對(duì)復(fù)雜任務(wù)增強(qiáng)學(xué)習(xí)：為具有挑戰(zhàn)性的接觸密集型任務(wù)，比如操作可變形物體（折疊）或使用工具（錘擊）等增強(qiáng)訓(xùn)練數(shù)據(jù)，形成從初始真實(shí)畫面開(kāi)始的“真實(shí)到真實(shí)”工作流。

由 GR00T-Dreams 支持的機(jī)器人錘擊操作的神經(jīng)軌跡和真實(shí)機(jī)器人 (Fourier GR-1) 執(zhí)行情況

使用 GR00T-Dreams

對(duì) GR00T N1.5 進(jìn)行后訓(xùn)練

可以使用 GR00T-Dreams 對(duì)視覺(jué)語(yǔ)言動(dòng)作 (VLA) 模型進(jìn)行后訓(xùn)練，以在未見(jiàn)過(guò)的環(huán)境中實(shí)現(xiàn)新行為和操作。

NVIDIA 研究中心使用 GR00T-Dreams blueprint 生成合成訓(xùn)練數(shù)據(jù)，僅用 36 小時(shí)就完成了 GR00T N1.5 的開(kāi)發(fā)。如果使用人工收集人類數(shù)據(jù)，這一過(guò)程需要近三個(gè)月的時(shí)間。

GR00T N1.5 是 GR00T N1 的首次更新，GR00T N1 是全球首個(gè)面向通用人形機(jī)器人推理和技能的開(kāi)源基礎(chǔ)模型。這個(gè)跨形態(tài)模型可以接收語(yǔ)言和圖像等多模態(tài)輸入，在多樣化的環(huán)境中執(zhí)行操作任務(wù)。

GR00T N1.5 的新功能：

提高對(duì)語(yǔ)言指令的理解準(zhǔn)確性

借助 Isaac GR00T-Dreams，增強(qiáng)對(duì)新物體和新環(huán)境的泛化能力

通過(guò) Eagle 2.5 提供更好的空間理解和開(kāi)放世界視覺(jué)定位，提升視覺(jué)語(yǔ)言基礎(chǔ)

在材料處理和制造任務(wù)中成功率更高

開(kāi)源的 NVIDIA 物理 AI 數(shù)據(jù)集

NVIDIA 擴(kuò)展了其開(kāi)源物理AI數(shù)據(jù)集。該數(shù)據(jù)集是 Hugging Face 上下載量最多的機(jī)器人數(shù)據(jù)集，最初于 2025 年 3 月推出，如今新增了數(shù)千條機(jī)器人軌跡，包括 Unitree G1 機(jī)器人的首批真實(shí)訓(xùn)練數(shù)據(jù)和 24,000 條仿真遠(yuǎn)程操作軌跡。

該數(shù)據(jù)集還包含各種操作任務(wù)的合成仿真數(shù)據(jù)，在開(kāi)發(fā) GR00T N1.5 的過(guò)程中發(fā)揮了重要的作用。

GR00T N 模型在機(jī)器人生態(tài)系統(tǒng)的應(yīng)用

GR00T N 模型已經(jīng)被很多生態(tài)合作伙伴采用，包括 AeiRobot、Foxlink、光輪智能和 NEURA Robotics 等。

AeiRobot 利用這一模型使其工業(yè)機(jī)器人能夠理解自然語(yǔ)言，從而完成復(fù)雜的抓取與放置任務(wù)。Foxlink 利用這一模型提高其工業(yè)機(jī)械臂的靈活性和效率。光輪智能借助這一模型驗(yàn)證合成數(shù)據(jù)，以加快人形機(jī)器人在工廠中的部署。NEURA Robotics 正在評(píng)估這一模型，以加速其家用自動(dòng)化系統(tǒng)的開(kāi)發(fā)。

開(kāi)始加速機(jī)器人學(xué)習(xí)

Isaac GR00T-Dreams blueprint 是用于生成大量合成軌跡數(shù)據(jù)的參考工作流，這些數(shù)據(jù)可用于教會(huì)人形機(jī)器人在新環(huán)境中執(zhí)行新動(dòng)作。這一藍(lán)圖使機(jī)器人僅需極少量的人類演示數(shù)據(jù)，就能夠泛化各種行為，并適應(yīng)新的環(huán)境。