續(xù)接上篇，我們一起看看RA8P1如何通過兩個應用示例幫助簡化AI實現。

應用示例1：RA8P1上的圖像分類

圖 4：圖像分類系統(tǒng)框圖

上圖顯示了圖像分類應用程序實現。RA8P1將構建此視覺AI應用程序所需的CPU內核、NPU、內存和外設集成在單個芯片上。應用程序會分析輸入圖像并為其分配預先分配的標簽或類別。神經網絡模型在龐大的圖像數據集上進行訓練（其中每張圖像都標有類別），并部署在RA8P1 MCU上。

為了進行推理，將新的輸入圖像輸入到模型中，并通過經過訓練的網絡的各層。然后，輸出層提供所有類別的概率分布，并將概率最高的類別分配為圖像的標簽。然后，可以將此輸出數據（圖像標簽和準確性）發(fā)送到顯示器或云。在我們的實施中，我們看到與使用CPU內核相比，使用Ethos-U55的推理速度提高了33倍。

圖 5：RA8P1上的圖像分類和性能比較，NPU與CPU

圖像分類可用于各種應用：

安全–危險品識別、人員識別、異常檢測

零售–按類別創(chuàng)建產品目錄、庫存管理

農業(yè)–識別作物病害、植物分類

智慧城市–識別交通信號燈/標志和行人

智能電器–識別冰箱內的物體

應用示例 2：RA8P1上的駕駛員監(jiān)控系統(tǒng)

此應用程序展示了Nota-AI駕駛員監(jiān)控系統(tǒng)（DMS），這是一種車內安全解決方案，旨在增強車輛行駛各個方面的道路安全。使用RA8P1，Nota-ai DMS可以檢測未注冊的駕駛員、駕駛員疲勞、手機使用情況以及駕駛員分心（如吸煙）的情況。

隨著RA8P1的更高性能，我們看到該應用中使用的四種模型（人臉檢測、人臉特征點、眼睛特征點和手機檢測）的推理性能提高了4到24倍。

DMS可用于儀表板攝像頭、車輛行駛數據記錄儀和駕駛員監(jiān)控系統(tǒng)。

圖 6：RA8P1上的駕駛員監(jiān)控系統(tǒng)NPU與CPU性能比較

這兩個視覺AI應用程序都充分利用了RA8P1 MCU上的資源：

通過圖像傳感器進行高效的輸入圖像采集：

RA8P1包括一個專用的MIPI CSI-2接口，帶有圖像縮放單元或16位CEU并行攝像頭接口，用于捕獲原始圖像輸入數據。

使用Ethos-U55 NPU進行高性能推理處理：

RA8P1 MCU上的Ethos-U55 AI加速器可分擔CPU內核工作，并比CPU內核更高效、更低功耗地處理復雜的AI模型。它從MIPI CSI-2或并行CEU接收處理后的圖像。

預先訓練的AI模型（例如，像MobileNetv1這樣的圖像分類模型）使用RUHMI工具針對RA8P1進行了優(yōu)化，并加載到NPU上。

Ethos-U55 NPU以非常高的速度（高達256 GOPS）和高功效執(zhí)行實際的AI推理。

使用Arm Cortex-M85和Cortex-M33加快應用程序處理速度：

帶有Arm Helium矢量擴展的高性能1GHz CM85內核可用于輸入圖像或音頻數據以及推理結果的預處理和后處理。Ethos-U55不支持的運算符也可以由CM85內核在回退模式下執(zhí)行，由CMSIS-NN庫加速。它還用于執(zhí)行應用程序代碼。

250MHz Cortex-M33內核可用于低功耗喚醒和內務管理任務。

通過片上存儲器和存儲器接口高效存儲圖像、模型權重和激活：

片上大型1MB MRAM和2MB SRAM對于存儲AI模型權重、圖像和中間激活至關重要。 與閃存相比，集成的嵌入式MRAM具有更快的寫入速度、更高的耐用性和數據保持率等優(yōu)勢。

MCU還支持適用于更大模型的高吞吐量外部存儲器接口（具有XIP和動態(tài)解密的OSPI以及32位SDRAM）。

用于LCD面板的高級圖形外設：

GLCDC（具有并行RGB或MIPI DSI接口）和2D引擎可用于處理圖像和推理結果并將其渲染到LCD顯示器上。

靈活的連接選項：

存在多種連接選項，可將推理結果、圖像或警報/通知傳輸到本地設備或云，以進行存儲或分析。

邊緣AI應用從AI加速MCU的使用中受益匪淺。它們在實時性、低功耗和安全性重要的應用場景具有關鍵價值。低功耗MCU的加入是AI解決方案領域的一個變革性變化。

全新RA8P1 MCU大幅降低延遲，實現數據隱私并最大限度地降低功耗，使其成為電池供電應用的理想選擇。整個開發(fā)由瑞薩電子的全面RUHMI框架提供支持，該框架可幫助開發(fā)人員在RA8P1硬件上高效優(yōu)化和部署其AI模型。