大語(yǔ)言模型（LLM）與多模態(tài)推理系統(tǒng)正迅速突破數(shù)據(jù)中心的局限。越來(lái)越多的汽車(chē)與機(jī)器人領(lǐng)域的開(kāi)發(fā)者希望將對(duì)話式 AI 智能體、多模態(tài)感知系統(tǒng)和高級(jí)規(guī)劃功能直接部署在端側(cè)，因?yàn)樵谶@些場(chǎng)景中，低延遲、高可靠性以及離線運(yùn)行能力至關(guān)重要。

目前主流的 LLM 和視覺(jué)語(yǔ)言模型（VLM）推理框架主要圍繞數(shù)據(jù)中心需求設(shè)計(jì)，例如應(yīng)對(duì)大量并發(fā)用戶請(qǐng)求并最大化其吞吐量，而嵌入式推理場(chǎng)景則需要一套專用的定制化解決方案。

本文介紹了 NVIDIA TensorRT Edge-LLM——一個(gè)用于 LLM 和 VLM 推理的新型開(kāi)源 C++ 框架，旨在滿足日益增長(zhǎng)的高性能邊緣端推理需求。該框架專為嵌入式汽車(chē)平臺(tái) NVIDIA DRIVE AGX Thor 及機(jī)器人平臺(tái) NVIDIA Jetson Thor 上的實(shí)時(shí)應(yīng)用而打造。該框架已在 GitHub 上隨 NVIDIA JetPack 7.1 版本發(fā)布并開(kāi)源。

TensorRT Edge-LLM 依賴項(xiàng)很少，專為實(shí)現(xiàn)量產(chǎn)級(jí)邊緣端應(yīng)用部署而設(shè)計(jì)。其精簡(jiǎn)輕量化的設(shè)計(jì)專注于嵌入式場(chǎng)景的特定功能，能夠顯著降低框架的資源占用。

此外，TensorRT Edge-LLM 所具備的先進(jìn)功能——如 EAGLE-3 投機(jī)采樣、NVFP4 量化支持以及分塊預(yù)填充技術(shù)，能夠滿足高要求的實(shí)時(shí)應(yīng)用場(chǎng)景所需的前沿的性能需求。

圖 1. 與主流 LLM 和 VLM 推理框架 vLLM 相比，TensorRT Edge-LLM 性能表現(xiàn)卓越。

面向?qū)崟r(shí)邊緣端應(yīng)用的 LLM 與 VLM 推理

邊緣端 LLM 推理任務(wù)和 VLM 推理任務(wù)具有以下特征：

請(qǐng)求來(lái)自少數(shù)或單一用戶

批處理規(guī)模較小，通常需跨多個(gè)攝像頭輸入

面向關(guān)鍵任務(wù)應(yīng)用的量產(chǎn)級(jí)部署

支持離線運(yùn)行且無(wú)需更新

因此，機(jī)器人和汽車(chē)領(lǐng)域的實(shí)時(shí)應(yīng)用提出了以下特定要求：

延遲低且可預(yù)測(cè)

最小化磁盤(pán)、內(nèi)存和計(jì)算資源的占用

符合量產(chǎn)標(biāo)準(zhǔn)

高魯棒性和高可靠性

TensorRT Edge-LLM 旨在滿足并優(yōu)先處理這些嵌入式場(chǎng)景的特定需求，為嵌入式 LLM 和 VLM 的推理提供堅(jiān)實(shí)基礎(chǔ)。

TensorRT Edge-LLM 在汽車(chē)行業(yè)的落地應(yīng)用

合作伙伴已開(kāi)始將 TensorRT Edge-LLM 作為其車(chē)用 AI 產(chǎn)品的基礎(chǔ)，其中博世、中科創(chuàng)達(dá)和 MediaTek 等企業(yè)在 CES 2026 上展示了其相關(guān)技術(shù)。

博世與 NVIDIA 及微軟共同開(kāi)發(fā)新一代博世智能座艙，該座艙搭載的車(chē)載 AI 助手具備自然語(yǔ)音交互能力。該解決方案集成了嵌入式自動(dòng)語(yǔ)音識(shí)別（ASR）與文本轉(zhuǎn)語(yǔ)音（TTS）AI 模型，并通過(guò) TensorRT Edge-LLM 實(shí)現(xiàn) LLM 推理，從而構(gòu)建了一個(gè)強(qiáng)大的車(chē)載 AI 系統(tǒng)。同時(shí)，該系統(tǒng)還可通過(guò)精密協(xié)調(diào)器與云端的大型 AI 模型協(xié)同運(yùn)作。

中科創(chuàng)達(dá)將 TensorRT Edge-LLM 集成至其即將推出的 AIBOX 平臺(tái)，該平臺(tái)基于 NVIDIA DRIVE AGX Orin 架構(gòu)，旨在為車(chē)內(nèi)提供響應(yīng)迅速的車(chē)端 LLM 及多模態(tài)推理能力。通過(guò)整合中科創(chuàng)達(dá)的汽車(chē)軟件棧與 TensorRT Edge-LLM 的輕量級(jí) C++ 運(yùn)行時(shí)及優(yōu)化解碼路徑，該 AIBOX 能在嚴(yán)苛的功耗和內(nèi)存限制下，提供低延遲的語(yǔ)音交互與座艙輔助體驗(yàn)。

MediaTek 在其 CX1 系統(tǒng)級(jí)芯片中基于 TensorRT Edge-LLM 進(jìn)行開(kāi)發(fā)，以支持先進(jìn)的座艙 AI 與人機(jī)交互應(yīng)用。TensorRT Edge-LLM 加速了 LLM 和 VLM 的推理過(guò)程，適用于多種應(yīng)用場(chǎng)景，包括駕駛員和座艙活動(dòng)監(jiān)測(cè)。同時(shí)，MediaTek 通過(guò)開(kāi)發(fā)新型嵌入式專用推理方法，持續(xù)反哺 TensorRT Edge-LLM 的技術(shù)演進(jìn)。

隨著 TensorRT Edge-LLM 的發(fā)布，這些 LLM 和 VLM 的推理能力現(xiàn)已面向 NVIDIA Jetson 生態(tài)系統(tǒng)開(kāi)放，可為機(jī)器人技術(shù)提供基礎(chǔ)支撐。

TensorRT Edge-LLM 技術(shù)解析

TensorRT Edge-LLM 旨在為 LLM 和 VLM 的推理提供一個(gè)端到端工作流。該流程涵蓋三個(gè)階段：

將 Hugging Face 模型導(dǎo)出為 ONNX 格式

針對(duì)目標(biāo)硬件構(gòu)建優(yōu)化的 NVIDIA TensorRT 引擎

在目標(biāo)硬件上運(yùn)行推理任務(wù)

圖 2. TensorRT Edge-LLM 工作流及關(guān)鍵組件

Python 導(dǎo)出流程能夠?qū)?Hugging Face 模型轉(zhuǎn)換為 ONNX 格式，并支持量化、LoRA 適配器和 EAGLE-3 投機(jī)采樣（圖 3）。

圖 3. TensorRT Edge-LLM Python導(dǎo)出流程階段與工具

引擎構(gòu)建器負(fù)責(zé)構(gòu)建專為嵌入式目標(biāo)硬件優(yōu)化的 TensorRT（圖 4）。

圖 4. TensorRT Edge-LLM 引擎構(gòu)建器工作流

C++ 運(yùn)行時(shí)負(fù)責(zé)在目標(biāo)硬件上執(zhí)行 LLM 和 VLM 的推理任務(wù)。它利用 TensorRT 引擎來(lái)實(shí)現(xiàn)自回歸模型解碼循環(huán)：即基于輸入和先前生成 token 進(jìn)行迭代式的 token 生成。用戶應(yīng)用程序通過(guò)與該運(yùn)行時(shí)交互，來(lái)處理 LLM 和 VLM 的工作負(fù)載。

圖 5. TensorRT Edge-LLM C++ 運(yùn)行時(shí)的預(yù)填充與解碼階段

如需了解上述各組件的更多說(shuō)明，請(qǐng)參閱 TensorRT Edge-LLM 的完整文檔。

開(kāi)始使用 TensorRT Edge-LLM

準(zhǔn)備好在您的 Jetson AGX Thor 開(kāi)發(fā)套件上開(kāi)始 LLM 和 VLM 推理了嗎？

下載 JetPack 7.1 版本

克隆 NVIDIA/TensorRT-Edge-LLM GitHub 倉(cāng)庫(kù)的 JetPack 7.1 發(fā)布分支：

git clone https://github.com/NVIDIA/TensorRT-Edge-LLM.git

查閱 TensorRT Edge-LLM 快速入門(mén)指南，了解如何從 Hugging Face 獲取開(kāi)箱即用的支持模型、并將其轉(zhuǎn)換為 ONNX 格式、為 Jetson AGX Thor 平臺(tái)構(gòu)建 TensorRT 引擎，以及最終通過(guò) C++ 運(yùn)行時(shí)進(jìn)行運(yùn)行的完整步驟。

參閱 TensorRT Edge-LLM 示例，了解更多特性和功能。

若需根據(jù)自身需求定制 TensorRT Edge-LLM，請(qǐng)參閱 TensorRT Edge-LLM 定制指南。

對(duì)于 NVIDIA DRIVE AGX Thor 用戶，TensorRT Edge-LLM 已作為 NVIDIA DriveOS 發(fā)行包的標(biāo)準(zhǔn)組件提供。后續(xù) DriveOS 版本將通過(guò) GitHub 倉(cāng)庫(kù)進(jìn)行發(fā)布。

隨著 LLM 和 VLM 快速向邊緣端遷移，TensorRT Edge-LLM 提供了一條清晰可靠的路徑，能夠?qū)?Hugging Face 模型直接部署至 NVIDIA 汽車(chē)和機(jī)器人平臺(tái)，實(shí)現(xiàn)實(shí)時(shí)、量產(chǎn)級(jí)落地。

探索工作流，充分測(cè)試模型效果，并著手構(gòu)建下一代智能端側(cè)應(yīng)用。了解更多信息，請(qǐng)?jiān)L問(wèn) NVIDIA/TensorRT-Edge-LLM GitHub 倉(cāng)庫(kù)。

致謝

感謝 Michael Ferry、Nicky Liu、Martin Chi、Ruo Cheng Jia、Charl Li、Maggie Hu、Krishna Sai Chemudupati、Frederik Kaster、XiangGuo、Yuan Yao、Vincent Wang、Levi Chen、Chen Fu、Le An、Josh Park、Xinru Zhu、Chengming Zhao、Sunny Gai、Ajinkya Rasani、Zhijia Liu、Ever Wong、Wenting Jiang、Jonas Li、Po-Han Huang、Brant Zhao、Yiheng張和 Ashwin Nanjappa，感謝你們對(duì) TensorRT Edge-LLM 的貢獻(xiàn)和支持。

關(guān)于作者

Lin Chai 是 NVIDIA 的高級(jí)產(chǎn)品經(jīng)理，負(fù)責(zé)領(lǐng)導(dǎo) TensorRT 和 TensorRTEdge-LLM，這是 NVIDIA 跨數(shù)據(jù)中心和嵌入式平臺(tái)深度學(xué)習(xí)的 AI 推理平臺(tái)。憑借在自動(dòng)駕駛和汽車(chē)原始設(shè)備制造商 (OEM) 方面的背景，她受到啟發(fā)，想要構(gòu)建生產(chǎn)級(jí)推理系統(tǒng)，為數(shù)據(jù)中心、邊緣和物理 AI 應(yīng)用中的深度學(xué)習(xí)工作負(fù)載提供一流的性能，使系統(tǒng)能夠在現(xiàn)實(shí)世界中感知、推理和行動(dòng)。

Felix Friedmann 是 NVIDIA DRIVE 平臺(tái)的產(chǎn)品和工程主管，涵蓋 NVIDIA 嵌入式 AI 推理和 NVIDIA DriveWorks。他將嵌入式視覺(jué)語(yǔ)言模型等最新技術(shù)創(chuàng)新與汽車(chē)軟件平臺(tái)所需的可靠性和安全性相結(jié)合。自 NVIDIA DRIVE 平臺(tái)問(wèn)世以來(lái)，F(xiàn)elix 一直在前一個(gè)職位上與之合作，當(dāng)時(shí)他在奧迪將早期的深度學(xué)習(xí)模型引入嵌入式應(yīng)用程序，并為 atVW 的 AID 智能汽車(chē)和后來(lái)的 Argo AI 設(shè)計(jì)了感知和系統(tǒng)架構(gòu)。

Luxiao Zheng 是 NVIDIA 的高級(jí)系統(tǒng)軟件工程師。他是 TensorRT 一般性能團(tuán)隊(duì)的成員，專門(mén)從事大語(yǔ)言模型推理工作流程。他從事 x86_64 和 aarch64 平臺(tái)的端到端 LLM 軟件開(kāi)發(fā)、性能測(cè)量、分析和改進(jìn)。陸曉持有理科碩士學(xué)位。計(jì)算機(jī)科學(xué)專業(yè)，理學(xué)學(xué)士學(xué)位。計(jì)算機(jī)科學(xué)和理學(xué)學(xué)士學(xué)位。華盛頓大學(xué)化學(xué)工程專業(yè)的博士學(xué)位。

Fan Shi 是 NVIDIA TensorRT 團(tuán)隊(duì)的高級(jí)系統(tǒng)軟件工程師，專門(mén)負(fù)責(zé)在邊緣平臺(tái)上高效部署先進(jìn)的 AI 模型。他的工作重點(diǎn)是優(yōu)化深度學(xué)習(xí)推理的性能和可用性。風(fēng)扇擁有 M.S?？突仿〈髮W(xué)計(jì)算數(shù)據(jù)科學(xué)博士學(xué)位和理學(xué)學(xué)士學(xué)位。來(lái)自伊利諾伊大學(xué)的統(tǒng)計(jì)學(xué)和計(jì)算機(jī)科學(xué)博士學(xué)位。

Amber Liu 是 NVIDIA 的高級(jí)系統(tǒng)軟件工程師，專注于邊緣 AI 和大語(yǔ)言模型應(yīng)用。她與中國(guó)的客戶和合作伙伴密切合作，在自動(dòng)駕駛、AI 駕駛艙和機(jī)器人領(lǐng)域?qū)崿F(xiàn) LLM 用例，幫助團(tuán)隊(duì)構(gòu)建生產(chǎn)就緒型邊緣 AI 系統(tǒng)。作為 TensorRT Edge? LLM 的核心貢獻(xiàn)者，她致力于開(kāi)發(fā)高性能推理解決方案，將先進(jìn)的大語(yǔ)言模型引入嵌入式平臺(tái)。