要點速覽

邊緣 AI 不僅適用于高端應(yīng)用。TI 微控制器 (MCU) 集成了 TinyEngine 神經(jīng)處理單元 (NPU)，可在更多電子產(chǎn)品中實現(xiàn)邊緣 AI，從資源受限的器件（包括便攜式、電池供電產(chǎn)品）到復(fù)雜的工業(yè)應(yīng)用均可適用。

通過訪問 TI 免費提供的 CCStudio Edge AI Studio（包含 60 多個代碼示例），嵌入式系統(tǒng)設(shè)計人員可以更快地啟動 AI 相關(guān)設(shè)計，簡化開發(fā)流程。

什么是 TinyEngine NPU？

TinyEngine NPU 是一款專有硬件加速器，集成于 TI C2000 及基于 Arm Cortex 的 MCU 中，專為幫助嵌入式系統(tǒng)設(shè)計人員在大規(guī)模部署邊緣 AI 模型時降低延遲、提升能效而設(shè)計。

TinyEngine NPU 與主 CPU 并行執(zhí)行機器學(xué)習(xí)算法，從而能夠在資源受限的器件上實時處理神經(jīng)網(wǎng)絡(luò)模型。此 NPU 對深度學(xué)習(xí)推理運算進行優(yōu)化，降低邊緣端處理的延遲與功耗，消除云端推理的往返延遲，提升系統(tǒng)響應(yīng)速度。

該 NPU 助力將邊緣 AI 能力拓展至此前無法承載有效 AI 工作負載的器件中。包括電池供電電子設(shè)備、具備實時分析能力的醫(yī)療可穿戴設(shè)備、個人電子及工業(yè)設(shè)備。

TinyEngine NPU 的主要優(yōu)勢

TinyEngine NPU 提供以下優(yōu)勢，突破了傳統(tǒng)上阻礙嵌入式 AI 廣泛應(yīng)用的關(guān)鍵設(shè)計限制：

相比基于軟件的 AI 方案，每次推理能耗僅為其1/120，延遲僅為其1/90

提供 2.56 GOPS 計算性能，支持深度學(xué)習(xí)模型實時邊緣 AI 推理

支持 8 位、4 位和 2 位以及混合精度配置，可完成量化和就地計算，以解決存儲器占用空間限制

支持多種神經(jīng)網(wǎng)絡(luò)層類型，如卷積層（常規(guī)、深度、逐點、轉(zhuǎn)置）、全連接層和池化層（平均池化和最大池化），并支持批量歸一化

通過簡化工具鏈降低開發(fā)復(fù)雜性，將開發(fā)時間從數(shù)周縮短至數(shù)小時

哪些 TI MCU 采用TinyEngine NPU？

TMS320F28P550SJ

TMS320F28P55x 系列 C2000 MCU 中的 NPU 可從主 CPU 中分擔(dān) AI 推理任務(wù)。

對于電機驅(qū)動應(yīng)用，該 NPU 支持電機軸承故障檢測，以支持預(yù)測性維護，幫助設(shè)計人員及早發(fā)現(xiàn)機械性能下降，從而減少計劃外停機時間與維修成本。

對于太陽能和儲能應(yīng)用，NPU 支持電弧故障檢測，用于識別危險的電氣故障，從而提高系統(tǒng)安全性并減少誤報。

在這兩種情況下，NPU 在本地運行卷積神經(jīng)網(wǎng)絡(luò)，其延遲比實施純軟件方案低5 到 10 倍。

AM13E230x

這類 Arm Cortex-M33 內(nèi)核的 MCU 通過集成 NPU 和先進的實時控制架構(gòu)，可在電器、機器人和工業(yè)系統(tǒng)中實現(xiàn)自適應(yīng)控制和預(yù)測性維護。

這種高集成度使設(shè)計人員無需外部元件，即可同時實現(xiàn)復(fù)雜的電機控制和 AI 功能，并為多達四個電機維持精確的實時控制環(huán)路。NPU 可運行自適應(yīng)控制算法，用于負載檢測和能量優(yōu)化。

MSPM0G5187

這類 80MHz Arm Cortex-M0+ 內(nèi)核的 MCU 屬于 TI MSPM0 MCU 系列，利用 NPU 在具有成本效益的低功耗電子產(chǎn)品中實現(xiàn)邊緣 AI 功能。

專用硬件 NPU 可獨立于主 CPU 執(zhí)行深度神經(jīng)網(wǎng)絡(luò)模型，延遲時間比實施軟件方案低 90 倍，在待機模式下消耗低于 2μA。

TI 支持邊緣 AI 功能的MCU 快速入門

設(shè)計人員可以使用 TI免費且免專利費的 CCStudio Edge AI Studio更快開展邊緣 AI 設(shè)計，該工具支持 TI 全系列 MCU 無縫開發(fā)，包括通用型、實時控制、無線連接及雷達類 MCU。借助 CCStudio Edge AI Studio，開發(fā)人員可通過集成的工作流完成全流程開發(fā)，涵蓋數(shù)據(jù)采集與標(biāo)注、特征提取、神經(jīng)網(wǎng)絡(luò)模型選型與調(diào)優(yōu)、模型編譯及目標(biāo)硬件部署。

該平臺提供60 余個代碼示例、專用應(yīng)用參考設(shè)計（電弧故障檢測、電機故障預(yù)測），支持 PyTorch等行業(yè)標(biāo)準(zhǔn)框架，同時提供無代碼設(shè)計方案。經(jīng)過訓(xùn)練的模型自動轉(zhuǎn)換為經(jīng)過優(yōu)化的軟件庫，無需手動編碼。

TI 的量化工具和神經(jīng)網(wǎng)絡(luò)編譯器還可為使用專有 AI 框架的開發(fā)人員實現(xiàn)快速模型移植，顯著縮短開發(fā)周期。這些工具還支持多種神經(jīng)網(wǎng)絡(luò)層，兼容 ONNX 等行業(yè)標(biāo)準(zhǔn)訓(xùn)練模型格式。