NVIDIA Isaac 機(jī)器人平臺(tái)利用最新的生成式 AI 和先進(jìn)的仿真技術(shù)，加速 AI 機(jī)器人技術(shù)的發(fā)展。

在GTC 上，NVIDIA 發(fā)布了 Isaac Manipulator 和 Isaac Perceptor 等一系列基礎(chǔ)模型、機(jī)器人工具和 GPU 加速庫。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在臺(tái)上向一萬多名觀眾展示了用于人形機(jī)器人學(xué)習(xí)的通用基礎(chǔ)模型 Project GR00T（代表通用機(jī)器人 00 技術(shù)）。Project GR00T 利用 NVIDIA Isaac機(jī)器人平臺(tái)的各種工具來創(chuàng)建用于人形機(jī)器人的 AI。

黃仁勛表示：“開發(fā)通用人形機(jī)器人基礎(chǔ)模型是當(dāng)今 AI 領(lǐng)域中最令人興奮的課題之一。世界各地的機(jī)器人技術(shù)領(lǐng)導(dǎo)者正在匯集各種賦能技術(shù)，致力于在人工通用機(jī)器人領(lǐng)域?qū)崿F(xiàn)突破?！?/p>

NVIDIA 還發(fā)布了一款基于 NVIDIA Thor 系統(tǒng)級(jí)芯片的新型人形機(jī)器人計(jì)算機(jī)和用于 NVIDIA Isaac 機(jī)器人平臺(tái)的全新工具，包括用于機(jī)器人學(xué)習(xí)的 Isaac Lab 和用于混合云工作流編排的 NVIDIA OSMO。這些工具對(duì) Project GR00T 和機(jī)器人基礎(chǔ)模型的開發(fā)至關(guān)重要。

推出適用于機(jī)械臂的 Isaac Manipulator

NVIDIA Isaac Manipulator 為機(jī)械臂提供了一系列先進(jìn)的運(yùn)動(dòng)生成和模塊化 AI 功能，以及各種強(qiáng)大的基礎(chǔ)模型和 GPU 加速庫。

機(jī)器人開發(fā)者可以使用專門為特定任務(wù)定制的軟件組件組合來感知周圍環(huán)境并與之交互，通過加速 AI 模型訓(xùn)練和任務(wù)編程，為動(dòng)態(tài)操縱任務(wù)構(gòu)建可擴(kuò)展和可重復(fù)的工作流。

NVIDIA 機(jī)器人技術(shù)和邊緣計(jì)算副總裁 Deepu Talla 表示：“將用于生成基礎(chǔ)模型的新工具整合到 Isaac 平臺(tái)中，可以加速開發(fā)出更加智能、靈活且通用于多種任務(wù)的機(jī)器人?！?/p>

眾多領(lǐng)先的機(jī)器人公司正在與 NVIDIA 合作，將 Isaac Manipulator 帶給他們的客戶，其中包括安川電機(jī)、Solomon、PickNik Robotics、READY Robotics、Franka Robotics 以及泰瑞達(dá)旗下子公司優(yōu)傲等。

安川電機(jī)總裁 Masahiro Ogawa 表示：“通過將 NVIDIA AI 工具和功能引入安川電機(jī)的自動(dòng)化解決方案，我們正在推動(dòng)機(jī)器人在各個(gè)行業(yè)的應(yīng)用，這將對(duì)各行各業(yè)產(chǎn)生重大的影響。”

NVIDIA 正在推出能夠增強(qiáng)現(xiàn)有機(jī)器人操作系統(tǒng)的基礎(chǔ)模型。這些模型將有助于開發(fā)能夠感知、適應(yīng)和重新編程的機(jī)器人，以適應(yīng)智能制造領(lǐng)域的各種環(huán)境和應(yīng)用，處理拾放任務(wù)、機(jī)器維護(hù)和裝配等。具體如下：

FoundationPose 是一個(gè)開創(chuàng)性的基礎(chǔ)模型，用于對(duì)以前未見過的物體進(jìn)行 6D 姿勢(shì)估計(jì)和追蹤。

cuMotion 利用 NVIDIA GPU 的并行處理能力，通過同時(shí)運(yùn)行多個(gè)軌跡優(yōu)化來提供最佳解決方案，從而解決工業(yè)規(guī)模的機(jī)器人運(yùn)動(dòng)規(guī)劃問題。

FoundationGrasp 是一種基于 transformer 的模型，可對(duì)未知 3D 物體進(jìn)行密集抓取預(yù)測(cè)。

SyntheticaDETR 是一種適用于室內(nèi)環(huán)境的對(duì)象檢測(cè)模型，可加快新對(duì)象的檢測(cè)、渲染和訓(xùn)練速度。

推出適用于自主移動(dòng)機(jī)器人

視覺 AI 的 Isaac Perceptor

制造業(yè)和物流部門正在采用自主移動(dòng)機(jī)器人（AMR）以提高效率和更好地保護(hù)工人，同時(shí)降低錯(cuò)誤率和成本。

Isaac Perceptor 提供的多攝像頭 360 度視覺功能為 ArcBest、比亞迪和凱傲集團(tuán)等早期行業(yè)合作伙伴帶來先進(jìn)的視覺 AI，幫助他們安裝協(xié)助物料搬運(yùn)作業(yè)的 AMR 設(shè)備。

NVIDIA Nova Orin DevKit 由 NVIDIA 與 Segway Robotics 和 Leopard Imaging 合作開發(fā)，可幫助企業(yè)快速開發(fā)、評(píng)估和部署 Isaac Perceptor。

ArcBest 首席創(chuàng)新官、ArcBest Technologies 總裁 Michael Newcity 表示：“ArcBest 正在與 NVIDIA 合作，將先進(jìn)的機(jī)器視覺技術(shù)引入物流領(lǐng)域。在我們的 Vaux Smart Autonomy AMR 叉車和前移式卡車中使用了 Isaac Perceptor 平臺(tái)，可以實(shí)現(xiàn)更好的感知、語義感知導(dǎo)航和 3D 映射，以便在倉庫、配送中心和制造設(shè)施的物料搬運(yùn)過程中進(jìn)行障礙物檢測(cè)?！?/p>

適用于人形機(jī)器人開發(fā)的

Project GR00T 技驚四座

在 GTC 上展示的 GR00T 驅(qū)動(dòng)的人形機(jī)器人可以接受多模態(tài)指令——包括文本、視頻和演示——以及它們此前的交互，從而為機(jī)器人生成所需的動(dòng)作。GR00T 在 Agility Robotics、Apptronik、傅利葉智能和宇樹科技等四家公司的人形機(jī)器人上進(jìn)行了展示。

人形機(jī)器人是一套復(fù)雜的系統(tǒng)，需要異構(gòu)計(jì)算來滿足高頻低級(jí)控制、傳感器融合與感知、任務(wù)規(guī)劃和人機(jī)交互的需求。NVIDIA 最新發(fā)布了基于 NVIDIA Thor SoC 的全新人形機(jī)器人計(jì)算機(jī) Jetson Thor。

Jetson Thor 包括一個(gè)帶有 transformer engine 的下一代 GPU，其采用 NVIDIA Blackwell 架構(gòu)，可提供每秒 800 萬億次 8 位浮點(diǎn)運(yùn)算 AI 性能，以運(yùn)行 GR00T 等多模態(tài)生成式 AI 模型。憑借集成的功能安全處理器、高性能 CPU 集群和 100GB 以太網(wǎng)帶寬，大大簡化了設(shè)計(jì)和集成工作。

Project GR00T 使用提供給機(jī)器人開發(fā)者的 Isaac 工具來構(gòu)建和測(cè)試基礎(chǔ)模型，比如 Isaac Lab 和 OSMO 等。前者是一個(gè)全新輕量級(jí)仿真應(yīng)用，基于 Isaac Sim 而構(gòu)建，適用于大規(guī)模訓(xùn)練人形機(jī)器人模型；后者是一個(gè)用于管理訓(xùn)練和仿真工作負(fù)載的云工作流編排平臺(tái)。

利用 Isaac Lab 加速機(jī)器人學(xué)習(xí)

需要高級(jí)運(yùn)動(dòng)技能（無論是行走還是抓取）的機(jī)器人都必須在仿真環(huán)境中運(yùn)用深度強(qiáng)化學(xué)習(xí)，并在虛擬環(huán)境中通過反復(fù)訓(xùn)練來學(xué)習(xí)技能。而當(dāng)模型遷移到真實(shí)的機(jī)器人部署中時(shí)，這個(gè)實(shí)用程序就會(huì)變得更加有用，Project GR00T 已經(jīng)證明了這一點(diǎn)。

作為 Isaac Gym 的后續(xù)產(chǎn)品，Isaac Lab 受益于 NVIDIA Omniverse 技術(shù)，用于基于物理信息、逼真且基于感知的強(qiáng)化學(xué)習(xí)任務(wù)。Isaac Lab 是一款性能優(yōu)化的開源機(jī)器人學(xué)習(xí)應(yīng)用，基于 Isaac Sim 平臺(tái)構(gòu)建而成，集成了強(qiáng)化學(xué)習(xí) API 和開發(fā)者友好的任務(wù)框架。

利用 NVIDIA OSMO

實(shí)現(xiàn)云原生機(jī)器人工作流調(diào)度

NVIDIA OSMO 可在分布式環(huán)境中擴(kuò)展工作負(fù)載。對(duì)于具有復(fù)雜的多階段和多容器工作流的機(jī)器人工作負(fù)載，該平臺(tái)提供與位置無關(guān)的部署選項(xiàng)，并為已部署的模型提供數(shù)據(jù)集管理和可追溯性功能。

波士頓動(dòng)力公司機(jī)器學(xué)習(xí)和感知負(fù)責(zé)人 Pat Marion 表示：“波士頓動(dòng)力公司采用了一系列機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)和 AI 技術(shù)賦能機(jī)器人。為了有效管理龐大的訓(xùn)練工作量，我們正在使用 NVIDIA OSMO。這款基礎(chǔ)設(shè)施解決方案可以讓機(jī)器學(xué)習(xí)工程師精簡工作流程，讓他們運(yùn)用專業(yè)知識(shí)去解決更為棘手的機(jī)器人問題?！?/p>

例如，OSMO 可在 NVIDIA DGX 和 NVIDIA OVX 服務(wù)器上并行運(yùn)行模型，幫助模型完成訓(xùn)練，并在仿真環(huán)境中實(shí)時(shí)強(qiáng)化學(xué)習(xí)，通過這種方式為 GR00T 提供支持。這一工作負(fù)載包括在循環(huán)中迭代生成和訓(xùn)練模型。OSMO 能夠在分布式環(huán)境中管理和調(diào)度工作負(fù)載，實(shí)現(xiàn) DGX 與 OVX 系統(tǒng)的無縫協(xié)調(diào)，從而實(shí)現(xiàn)高效和迭代的模型開發(fā)。一旦模型可以進(jìn)行測(cè)試和驗(yàn)證，OSMO 就能在 OVX（x86-64）上獨(dú)特地編排軟件在環(huán)工作流，并利用 NVIDIA Jetson（aarch64）計(jì)算資源編排硬件在環(huán)工作流。

支持 ROS 開發(fā)者生態(tài)系統(tǒng)

NVIDIA 以創(chuàng)始成員兼白金贊助商的身份加入了開源機(jī)器人聯(lián)盟（OSRA）。OSRA 是開源機(jī)器人基金會(huì)的一項(xiàng)新舉措，旨在通過支持包括機(jī)器人操作系統(tǒng)（ROS）在內(nèi)的多個(gè)開源機(jī)器人項(xiàng)目，促進(jìn)機(jī)器人社區(qū)的合作、創(chuàng)新和技術(shù)指導(dǎo)。

Open Robotics 首席執(zhí)行官 Vanessa Yamzon Orsi 表示：“隨著自主機(jī)器人能力的日益提升，業(yè)界越來越需要更加強(qiáng)大且節(jié)能的板載計(jì)算。ROS 社區(qū)正在親身體驗(yàn)這種需求，我們的用戶正在越來越多地使用 NVIDIA 等行業(yè)領(lǐng)導(dǎo)者提供的先進(jìn)加速計(jì)算硬件?！?/p>

NVIDIA Isaac Perceptor 與 Nova Orin 評(píng)估套件、Isaac Manipulator、Isaac Lab 以及 OSMO 將于今年第二季度提供給客戶和合作伙伴。



審核編輯：劉清