???????? 意法半導(dǎo)體傳感器、微控制器和電機(jī)控制解決方案與英偉達(dá)機(jī)器人生態(tài)系統(tǒng)深度融合，助力開發(fā)者設(shè)計、訓(xùn)練和部署更高效率、更高可靠性和可擴(kuò)展性的人形機(jī)器人和其他物理AI系統(tǒng)

首先是Leopard Imaging公司采用意法半導(dǎo)體傳感器設(shè)計的立體深度相機(jī)與英偉達(dá)Holoscan Sensor Bridge技術(shù)的全面融合；意法半導(dǎo)體IMU傳感器的高保真仿真到真機(jī)模型加入英偉達(dá)Isaac Sim生態(tài)系統(tǒng)

意法半導(dǎo)體（ST）近日宣布，將其完善的先進(jìn)機(jī)器人產(chǎn)品組合加入兼容英偉達(dá)Holoscan Sensor Bridge (HSB)接口的參考組件清單，以加快物理人工智能系統(tǒng)的普及應(yīng)用，包括人形機(jī)器人、工業(yè)機(jī)器人、服務(wù)機(jī)器人、醫(yī)療機(jī)器人等。同時，意法半導(dǎo)體還將其產(chǎn)品的高保真NVIDIA Isaac Sim模型納入兩家公司的機(jī)器人生態(tài)系統(tǒng)，以提高從仿真到真機(jī)的研發(fā)速度和準(zhǔn)確度。意法半導(dǎo)體為開發(fā)者帶來首批合作成果：與NVIDIA HSB技術(shù)深度融合的Leopard公司采用意法半導(dǎo)體技術(shù)設(shè)計的深度相機(jī)；意法半導(dǎo)體IMU傳感器的高保真模型加入NVIDIA Isaac Sim生態(tài)系統(tǒng)。

意法半導(dǎo)體負(fù)責(zé)美洲區(qū)及全球大客戶銷售與市場部的執(zhí)行副總裁Rino Peruzzi表示：“ST積極參與機(jī)器人行業(yè)的生態(tài)合作，為市場提供強(qiáng)有力的支持和完善的生態(tài)系統(tǒng)。我們與英偉達(dá)的合作目標(biāo)是在尖端機(jī)器人領(lǐng)域掀起新一波創(chuàng)新浪潮，從人工智能算法的創(chuàng)建開發(fā)，到傳感器和執(zhí)行器的無縫集成，精簡優(yōu)化機(jī)器人研發(fā)流程的每一環(huán)節(jié)，加快復(fù)雜的物理AI平臺的升級迭代?！?/p>

英偉達(dá)機(jī)器人與邊緣人工智能部副總裁Deepu Talla表示：“加快開發(fā)下一代自主系統(tǒng)需要高保真仿真和硬件無縫集成，彌合虛擬訓(xùn)練和真機(jī)部署之間的差異。ST傳感器和執(zhí)行器技術(shù)與NVIDIA Isaac Sim、Holoscan Sensor Bridge和Jetson平臺的深度集成，為開發(fā)者構(gòu)建、仿真和大規(guī)模部署物理AI提供了一個統(tǒng)一的底層平臺?！?/p>

通過Holoscan Sensor Bridge簡化傳感器和執(zhí)行器與機(jī)器人平臺的無縫集成

通過NVIDIA HSB技術(shù)，開發(fā)者可以統(tǒng)一、標(biāo)準(zhǔn)化、同步和精簡從多個意法半導(dǎo)體傳感器和執(zhí)行器采集記錄數(shù)據(jù)的過程，為構(gòu)建高保真NVIDIA Isaac模型、加快學(xué)習(xí)和最大限度縮小仿真與真機(jī)之間的差異奠定了基礎(chǔ)。

雙方合作目標(biāo)是通過人形機(jī)器人預(yù)集成解決方案，整合STM32 MCU、高級傳感器（包括IMU慣性測量單元、成像傳感器和ToF測距芯片）和電機(jī)控制解決方案，簡化意法半導(dǎo)體傳感器和執(zhí)行器與NVIDIA Jetson平臺的集成過程。Leopard Imaging的機(jī)器人立體深度相機(jī)就是一個完美例子。該相機(jī)采用意法半導(dǎo)體的成像傳感器、深度測距和運(yùn)動感測技術(shù)，有望助力支持物理人工智能OEM廠商、學(xué)術(shù)研究機(jī)構(gòu)、工業(yè)機(jī)器人等各種機(jī)器人設(shè)計。

通過構(gòu)建基于Omniverse Isaac的高保真模型，攻克產(chǎn)品成本和設(shè)計復(fù)雜性挑戰(zhàn)

除了建模挑戰(zhàn)外，高級機(jī)器人開發(fā)者還面臨著高昂的開發(fā)成本。高保真仿真及廣泛隨機(jī)化需占用大量的GPU和CPU資源以及龐大的數(shù)據(jù)集。選擇隨機(jī)化哪些參數(shù)以及隨機(jī)化范圍需要深厚的域?qū)I(yè)知識，而選擇不當(dāng)會導(dǎo)致場景不真實(shí)或訓(xùn)練效率低。最后，參數(shù)過度變化會導(dǎo)致模型混亂，減緩收斂速度，當(dāng)隨機(jī)化不再反映真實(shí)條件時，可能會降低真機(jī)性能。

意法半導(dǎo)體和英偉達(dá)的目標(biāo)是讓意法半導(dǎo)體豐富的產(chǎn)品組合具有準(zhǔn)確的硬件校準(zhǔn)模型，滿足高級機(jī)器人技術(shù)的需求。在首個IMU模型發(fā)布后，意法半導(dǎo)體還為開發(fā)者提供ToF傳感器、執(zhí)行器和其他芯片的基于實(shí)體硬件基準(zhǔn)測試數(shù)據(jù)建立的模型。該解決方案使用意法半導(dǎo)體的工具捕捉準(zhǔn)確參數(shù)和真實(shí)的硬件行為特性，然后針對英偉達(dá)的Isaac Sim生態(tài)系統(tǒng)對模型進(jìn)行優(yōu)化。NVIDIA HSB正在通過合作方式融入意法半導(dǎo)體工具鏈。

因此，意法半導(dǎo)和英偉達(dá)設(shè)想，更準(zhǔn)確的模型將顯著提升機(jī)器人的學(xué)習(xí)能力。通過使用能夠更準(zhǔn)確復(fù)制真機(jī)行為的模型，機(jī)器人可以在更能反映實(shí)際情況的仿真環(huán)境中學(xué)習(xí)技能，縮短訓(xùn)練周期，降低人形機(jī)器人相關(guān)應(yīng)用的開發(fā)改進(jìn)成本。