開源生成式 AI 模型不再局限于數(shù)據(jù)中心，而是開始深入到現(xiàn)實世界的各種機器中。從 Orin 到 Thor，NVIDIA Jetson 系列正在成為運行 NVIDIA Nemotron、Cosmos 和 Isaac GR00T 等模型以及千問大模型、Gemma、Mistral AI、GPT-OSS、PI 等社區(qū)模型的通用平臺。

Cat 306 CR小型挖掘機重約八噸，尺寸緊湊，可以裝進標準集裝箱。當(dāng)工地空間有限時，例如在建筑物附近挖掘公用設(shè)施溝渠或在密集城區(qū)挖掘地下室，承包商會租用這種設(shè)備。

它的駕駛室空間接近電話亭大小，操作員需要身體靠近控制臺，雙手各握兩個操縱桿。這套系統(tǒng)具有一定的學(xué)習(xí)門檻。

在今年初的 CES 展會上，這款機器已經(jīng)能夠回答問題了。

在演示中，Cat AI Assistant 運行在NVIDIA Jetson Thor平臺上。該平臺是一個為工業(yè)和機器人系統(tǒng)設(shè)計的實時推理邊緣 AI 平臺。為了實現(xiàn)快速準確的自然語音交互，該系統(tǒng)采用了NVIDIA Nemotron語音模型，同時借助 Qwen3 4B，可以通過 vLLM 本地服務(wù)，確保無云連接的情況下，以低延遲解析請求并生成響應(yīng)。

除了推動企業(yè)創(chuàng)新，開放模型還為開發(fā)者開辟了自由構(gòu)建與實驗的廣闊空間。通過在 NVIDIA Jetson 上運行 OpenClaw，開發(fā)者可打造個人全天候在線的邊緣 AI 助手。不僅能零成本調(diào)用 API，還能確保完整的數(shù)據(jù)隱私。

所有 Jetson 開發(fā)套件均支持 OpenClaw，用戶能夠靈活切換 20 億至 300 億參數(shù)規(guī)模的開放模型。憑借本地運行的前沿級 AI 助手，用戶可實時處理晨間簡報、自動化日常任務(wù)、進行代碼審查并控制智能家居系統(tǒng)——全部在本地實時完成。

從云端到邊緣

在過去一段時間，開放模型通常部署在最容易提供支持的環(huán)境中。

它們運行在數(shù)據(jù)中心，依賴彈性計算和持續(xù)穩(wěn)定的網(wǎng)絡(luò)連接提供支撐。然而，云部署會帶來延遲成本和持續(xù)的計算成本，且這些成本會隨著每次查詢線性增長。

而物理系統(tǒng)的優(yōu)化重點則不同。它們需要低延遲，因為機器必須與人和環(huán)境實時互動；需要功耗受控，以適應(yīng)設(shè)備的硬件限制；以及穩(wěn)定一致的行為，因為任何不確定性都會帶來風(fēng)險。

此外，還存在供應(yīng)層面的問題。內(nèi)存短缺推高了全行業(yè)的成本。Jetson 通過將計算單元與內(nèi)存集成于單個系統(tǒng)級模塊 (SoM) 中，不僅加速了客戶的硬件設(shè)計進程，也使元器件采購與驗證比采用分立方案更為高效可靠。

與此同時，隨著模型效率不斷提升，開發(fā)者也開始提出一個更本質(zhì)的問題：不再糾結(jié)“哪個模型單獨性能最強”，而是思考“它在哪里運行才最合理”。

如今，答案越來越明確地指向設(shè)備端。例如，入門級生成式 AI 模型可從 Jetson Orin Nano 8GB 起步。

大規(guī)模構(gòu)建自主物理 AI 系統(tǒng)

對物理AI系統(tǒng)而言，生成式 AI 模型正在顯著拓展能力邊界。

卡特彼勒正在開發(fā)的駕駛艙內(nèi) Cat AI 助手，可在本地同時運行語音與語言模型，并結(jié)合可信的機器上下文，為操作員提供指導(dǎo)與安全輔助功能。

在 CES 上，F(xiàn)ranka Robotics 展示了這一理念在機器人領(lǐng)域的實際應(yīng)用：該公司 FR3 Duo 雙臂系統(tǒng)在設(shè)備上端到端運行 NVIDIA GR00T N1.6 模型，從環(huán)境感知到動作執(zhí)行，全程無需任務(wù)腳本?？刂撇呗酝耆诒镜剡\行。

在機器人研究領(lǐng)域，NVIDIA GEAR 實驗室的 SONIC 項目利用超過 1 億幀的動作捕捉數(shù)據(jù)訓(xùn)練人形機器人控制器，隨后將所得策略部署到實體機器人上。其中，運動學(xué)規(guī)劃器在Jetson Orin上運行，單次推理僅需約 12 毫秒，策略控制環(huán)路以 50 Hz 頻率穩(wěn)定運行。所有計算均在設(shè)備本地完成。

這一范式也延伸至開發(fā)者社區(qū)。來自伊利諾伊大學(xué)香檳分校 (UIUC) SIGRobotics 社團的一支團隊，借助在 Jetson Thor 上運行的 GR00T N1.5 模型，打造了一臺雙臂抹茶制作機器人，并在 NVIDIA 具身 AI 黑客松中榮獲第一名。

紐約大學(xué)機器人與具身智能中心也在持續(xù)推動這一方向的研究。該團隊近期在 Jetson Thor 上運行其YOR 機器人，借助 NVIDIA Blackwell 架構(gòu)的強大算力處理 AI 驅(qū)動運動所需的復(fù)雜計算任務(wù)。初步結(jié)果顯示，YOR 能夠執(zhí)行精細的抓取與放置任務(wù)，在面對新物體和場景變化時展現(xiàn)出更強的泛化能力與穩(wěn)定性，從而加速其在烹飪、洗衣等家庭場景中的應(yīng)用進程。

獨立研究者也得出了相似結(jié)論。Hugging Face 多模態(tài)研究負責(zé)人 Andrés Marafioti 在Jetson AGX Orin 上構(gòu)建了一個代理式 AI 系統(tǒng)，能夠跨模型調(diào)度任務(wù)并自主安排工作流。某天深夜，該智能體給他發(fā)了一條消息：“去睡覺吧，一切明早都會準備好?！?/p>

Collabnix 社區(qū)的開發(fā)者 Ajeet Singh Raina 展示了如何在 NVIDIA Jetson Thor 上運行OpenClaw，打造一個全天候運行的個人 AI 助手。該配置支持用戶對其自有數(shù)據(jù)進行私有化的大語言模型推理，同時通過本地網(wǎng)關(guān)管理電子郵件和日歷。

Jetson 正成為新標準

NVIDIA Jetson 已成為在邊緣端運行開放模型的通用平臺。

它全面支持各類開放模型與 AI 框架，開發(fā)者可在邊緣端靈活部署幾乎任何生成式 AI 工作負載。

模型基準測試可在Jetson AI Lab獲取，也可查看開放模型社區(qū)提供的詳細教程。Jetson Thor 在所有主流生成式 AI 模型上均提供領(lǐng)先的推理性能。

Gemma：基于 Google Gemini 研究成果打造，Gemma 3 是 Jetson 平臺上的一款多功能主力模型。它原生支持多模態(tài)，意味著能“看”并“說”超過 140 種語言。在 Jetson Thor 上，它可處理高達 128K 的上下文窗口，非常適合需要記憶一長串復(fù)雜或多步驟指令的機器人應(yīng)用。

gpt-oss-20B：這款來自 OpenAI 的模型通過在 Jetson Thor 和 Orin 上本地運行，即可提供接近頂尖水平的推理性能，顯著降低了先進 AI 的部署門檻，實現(xiàn)高性價比推理。

Mistral AI：全新的 Mistral 3 開放模型系列為開發(fā)者和企業(yè)提供了業(yè)界領(lǐng)先的準確性、效率與定制能力。該系列包含從 3B 到 14B 參數(shù)的小型密集模型，體積小巧卻異常智能。Jetson 開發(fā)者可使用 NVIDIA Jetson Thor 上的 vLLM 容器，在單并發(fā)場景下實現(xiàn)每秒 52 個 token 的生成速度，在八并發(fā)時可達每秒 273 個 token。

NVIDIA Cosmos：該領(lǐng)先開放推理視覺語言模型，使機器人和 AI 智能體能夠像人類一樣在物理世界中看見、理解并行動。其 8B 和 2B 版本均可在 Jetson 上高效運行，提供先進的時空感知與推理能力。

NVIDIA Isaac GR00TN1.6：一款面向通用機器人技能的開放視覺語言動作模型 (VLA)。開發(fā)者可用它構(gòu)建能感知環(huán)境、理解指令并在多種任務(wù)、環(huán)境和機器人形態(tài)中執(zhí)行動作的機器人。在 Jetson Thor 上，完整的 GR00T N1.6 管線可在設(shè)備端本地運行，實現(xiàn)實時感知、空間理解與快速響應(yīng)。

NVIDIA Nemotron：一套包含開放模型、數(shù)據(jù)集與技術(shù)組合，賦能用戶構(gòu)建高效、精準、專用的代理式 AI 系統(tǒng)，面向先進推理、編程、視覺理解、代理式任務(wù)、安全性、語音與信息處理等場景。Nemotron 3 Nano 9B 模型可在 Jetson Orin Nano Super 上基于 llama.cpp 高效運行，性能達每秒處理 9 個 token。

PI 0.5： Physical Intelligence 推出的 VLA 模型，使機器人能理解指令，并憑借強大的泛化能力與實時適應(yīng)性，自主執(zhí)行復(fù)雜的現(xiàn)實世界任務(wù)。NVIDIA Jetson Thor 可提供每秒 120 個動作 token 的輸出，為低延遲、高響應(yīng)性的物理 AI 部署提供強勁支持。

Qwen 3.5：阿里巴巴推出的系列模型 (包括最新 Qwen 3.5 版本)，涵蓋密集模型與混合專家 (MoE) 模型，在推理、編程、多模態(tài)理解和長上下文處理方面表現(xiàn)卓越。Jetson Thor 為千問系列模型提供了了優(yōu)化性能，例如Qwen 3.5-35B-A3B模型可實現(xiàn)每秒處理 35 個 token 的推理速度，使實時交互成為可能。

任何開發(fā)者均可對這些模型進行微調(diào)，構(gòu)建專用的物理 AI 智能體，并將其無縫部署到物理 AI 系統(tǒng)中。NVIDIA Jetson 平臺全面支持 NVIDIA TRT、Llama.cpp、Ollama、vLLM、SGLang 等主流 AI 框架。

在 Jetson 上嘗試部署開放模型

開發(fā)者可學(xué)習(xí) Hugging Face 上的教程，例如《在Jetson 上部署開源視覺語言模型》，并觀看最新直播演示。通過該教程，學(xué)習(xí)如何在 NVIDIA Jetson 上運行 OpenClaw。

歡迎參加GTC 2026，見證實際運行效果。NVIDIA 將展示開放模型如何從數(shù)據(jù)中心走向真實世界中的機器，將在“工業(yè)自主化的未來”專題討論會上的深度分享相關(guān)洞察。

觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的GTC 主題演講，并關(guān)注物理 AI、機器人與視覺 AI相關(guān)專場會議。

卡特彼勒技術(shù)亮點

NVIDIA Jetson Thor：面向工業(yè)與機器人系統(tǒng)的實時邊緣 AI 推理平臺

NVIDIA Riva：采用 Parakeet ASR 與 Magpie TTS 的語音 AI 框架

Qwen3 4B：用于意圖解析與生成回復(fù)的輕量級大語言模型

vLLM：在邊緣端實現(xiàn)高效 LLM 推理服務(wù)的運行時間

CatHelios：提供可信的設(shè)備上下文統(tǒng)一數(shù)據(jù)平臺

NVIDIA Omniverse：面向工業(yè)工作流的數(shù)字孿生與仿真框架