NVIDIA Isaac ROS GEM 是一款基于硬件加速的軟件包，可以讓 ROS 開發(fā)者更輕松地基于 NVIDIA 硬件構(gòu)建高性能解決方案。

NVIDIA Isaac ROS GEM功能特性

高吞吐量感知

Isaac ROS GEM 提供的軟件包中包括圖像、計(jì)算機(jī)視覺，以及針對(duì) NVIDIA GPU 和 Jetson 高度優(yōu)化的 DNN 處理功能。

靈活的模組化軟件包

借助模組化軟件包，ROS 開發(fā)者可以準(zhǔn)確地選擇需要集成到其應(yīng)用中的內(nèi)容。這意味著他們可以替換整個(gè)工作流，也可以僅更換一種算法。

縮短開發(fā)時(shí)間

Isaac ROS GEM 經(jīng)過精心設(shè)計(jì)和測(cè)試，與現(xiàn)有的常見 ROS 節(jié)點(diǎn)相似，更易于集成到現(xiàn)有應(yīng)用中。

適用于ROS開發(fā)者

且豐富多樣的感知AI軟件包

ROS 2 節(jié)點(diǎn)可應(yīng)對(duì)常用的圖像、計(jì)算機(jī)和 DNN 處理功能，這些功能是為 AI ROS 機(jī)器人應(yīng)用提供高性能感知的關(guān)鍵要素。

基于Visual SLAM的定位

當(dāng)自主機(jī)器在相應(yīng)環(huán)境中移動(dòng)時(shí)，它們必須持續(xù)追蹤自己的位置。視覺測(cè)距通過估算攝像頭相對(duì)于其起始位置的距離來解決這一問題。支持立體視覺測(cè)距的 Isaac ROS GEM 為 ROS 開發(fā)者提供了這一強(qiáng)大功能。

此 GEM 使實(shí)時(shí)立體攝像頭視覺測(cè)距解決方案具備高準(zhǔn)確度。可在此處參考基于廣泛使用的 KITTI 數(shù)據(jù)庫的公開可用結(jié)果。此 GPU 加速軟件包不僅具備高準(zhǔn)確度，運(yùn)行速度也非?？?。事實(shí)上，SLAM 現(xiàn)在可在 Jetson Xavier AGX 上以高清分辨率（1280 x 720）實(shí)時(shí)（60 fps 以上）運(yùn)行。

3D場(chǎng)景重建– nvblox（預(yù)覽）

僅僅明確機(jī)器人的位置還不足以在復(fù)雜的環(huán)境中實(shí)現(xiàn)安全導(dǎo)航。機(jī)器人還必須能夠自己發(fā)現(xiàn)障礙物。nvblox（預(yù)覽）使用 RGB-D 數(shù)據(jù)來創(chuàng)建機(jī)器人所在環(huán)境的密集 3D 顯示。其中包括不可預(yù)見的障礙物，如果不進(jìn)行實(shí)時(shí)觀察，可能會(huì)對(duì)機(jī)器人造成危險(xiǎn)。而此數(shù)據(jù)有助于為導(dǎo)航堆棧生成時(shí)間成本圖。

DNN 推理過程

DNN 推理 GEM 是一組 ROS2 軟件包，允許開發(fā)人員使用 NGC 上可用的 NVIDIA 眾多推理模型中的任何一種，甚至可以提供自己的 DNN。利用 NVIDIA TAO 工具套件，開發(fā)者可以進(jìn)一步調(diào)整預(yù)訓(xùn)練模型或優(yōu)化自己的模型。

優(yōu)化后，這些軟件包將通過 NVIDIA 的推理服務(wù)器 TensorRT 或 Triton 進(jìn)行部署。借助利用 TensorRT（NVIDIA 的高性能推理 SDK）的節(jié)點(diǎn)實(shí)現(xiàn)出色的推理性能。如果 TensorRT 不支持所需的 DNN 模型，則可以使用 Triton 來部署模型。

整合模型支持的其他 GEM 現(xiàn)已推出，并支持 U-Net 和 DOPE ?；?TensorRT 的 U-Net 軟件包可用來從圖像中生成語義分割遮罩。DOPE 軟件包可用于對(duì)所有檢測(cè)到的目標(biāo)進(jìn)行 3D 姿態(tài)估計(jì)。

該工具是在 ROS 應(yīng)用程序中加入高性能 AI 推理的最快方法。下圖為預(yù)訓(xùn)練模型 PeopleSemSegNet，運(yùn)行速度為 25fps @544p。

攝像頭/ 圖像處理

在典型的機(jī)器人圖像處理流程中，須先處理通過攝像頭傳感器獲得的原始數(shù)據(jù)，然后再將其傳遞給 DNN 或用于感知處理的經(jīng)典計(jì)算機(jī)視覺模組。此圖像處理過程包括鏡頭失真校正（LDC）、圖像調(diào)整和圖像格式轉(zhuǎn)換等。如果需要用到立體攝像頭，則還需要估計(jì)差異。圖像處理 GEM 旨在利用 Jetson 上的專用計(jì)算機(jī)視覺硬件，例如 GPU、VIC（視頻和圖像合成器）和 PVA（可編程的視覺加速器）。

針對(duì)使用 CSI 接口連接攝像頭的機(jī)器人，NVIDIA 提供硬件加速的 Argus 軟件包。

審核編輯：湯梓紅