隨著邊緣視覺識別成為許多產(chǎn)品中越來越重要的功能，機器學習 （ML） 和人工智能 （AI） 正在進入廣泛的應(yīng)用領(lǐng)域。開發(fā)人員面臨的問題是，與功耗受限的應(yīng)用程序相比，支持 ML/AI 的視覺可能需要更多的計算能力來運行識別算法。如果需要昂貴的熱管理解決方案，這也會增加成本。

邊緣 ML/AI 的目標是找到平衡性能和功耗的最佳架構(gòu)方法，同時提供強大的軟件生態(tài)系統(tǒng)來開發(fā)應(yīng)用程序。

考慮到這些條件，本文介紹了瑞薩電子RZ/V2系列微處理器單元（MPU）及其內(nèi)置AI硬件加速器的解決方案。本文探討了MPU而不是微控制器（MCU）或高端圖形處理單元（GPU）如何解決設(shè)計人員面臨的幾個問題。本文介紹了他們?nèi)绾问褂肦Z/V2系列開始設(shè)計視覺識別系統(tǒng)，以及一些"提示和技巧"，以簡化這一過程。

RZ/V2 系列 MPU 簡介

RZ/V2 系列是一種解決方案，可為使用三核微處理器的開發(fā)人員解鎖許多功能。RZ/V2L系列微處理器包含兩個運行在1.2千兆赫（GHz）的Arm Cortex-A55處理器和一個運行在200兆赫（MHz）的實時微控制器內(nèi)核（Arm? Cortex-M33?）。此外，該系列中的部件還包含一個基于 Arm Mali-G31 多媒體處理器的 GPU，該處理器具有 NEON 單指令/多數(shù)據(jù) （SIMD） 指令。將這三個處理內(nèi)核與多媒體處理器相結(jié)合，為從事視覺識別系統(tǒng)的開發(fā)人員提供了全面的解決方案。

目前RZ/V2系列有兩種MPU等級，RZ/V2L和RZ/V2M系列。RZ/V2L 具有簡單的圖像信號處理器 （ISP）、3D 圖形引擎和高度通用的外設(shè)集。就其本身而言，RZ / V2M增加了一個高性能ISP，支持每秒4幀（fps）的30K分辨率。本文重點介紹RZ/V2L系列，由R9A07G054L23GBG和R9A07G054L24GBG組成。這兩部分之間的主要區(qū)別在于R9A07G054L23GBG采用15毫米尺寸 ^2^ ，456-LFBGA 封裝，而 R9A07G054L24GBG 采用 21 mm 封裝 ^2^ ，551-LFBGA 封裝。

RZ/V2L系列的框圖如圖1所示。除了三個處理內(nèi)核外，MPU 還包括用于標準外設(shè)的接口，如 DDR3/DDR4 內(nèi)存、SPI、USB、以太網(wǎng)、I2C、CAN、SCI、GPIO 和模數(shù)轉(zhuǎn)換器 （ADC）。此外，這些部件還包括安全啟動、加密引擎和真隨機數(shù)生成器 （TRNG） 等安全功能。然而，讓 MPU 系列與眾不同的是動態(tài)可重新配置處理器 （DRP） AI 加速器。

圖 1：RZ/V2L MPU 系列支持各種外設(shè)接口、安全性和視頻處理選項。視覺識別應(yīng)用的關(guān)鍵特性是DRP-AI加速器。（圖片來源：瑞薩電子株式會社）

DRP-AI 加速器秘訣

DRP-AI 加速器是使 RZ/V2L 系列 MPU 能夠以更低的能耗和更低的熱分布快速執(zhí)行視覺識別應(yīng)用的秘訣。DRP-AI 由兩個組件組成：DRP 和 AI 乘法累加 （MAC），它們可以通過內(nèi)部交換機優(yōu)化數(shù)據(jù)流來有效地處理卷積網(wǎng)絡(luò)和全組合層中的操作（圖 2）。

DRP-AI 硬件專用于 AI 推理執(zhí)行。DRP-AI采用瑞薩電子開發(fā)的獨特動態(tài)可重構(gòu)技術(shù)，可提供靈活性、高速處理和能效。此外，DRP-AI 轉(zhuǎn)換器是一種免費軟件工具，可讓用戶實現(xiàn)優(yōu)化的 AI 模型，從而快速最大限度地提高性能。DRP-AI轉(zhuǎn)換器輸出的多個可執(zhí)行文件可以放置在外部存儲器中。然后，應(yīng)用程序可以在運行時在多個 AI 模型之間動態(tài)切換。

DRP 可以通過動態(tài)更改硬件配置來快速處理復(fù)雜的活動，例如圖像預(yù)處理和 AI 模型池化層。

圖 2：DRP-AI 由 DRP 和 AI-MAC 組成，它們可以通過優(yōu)化內(nèi)部交換機的數(shù)據(jù)流，共同有效地處理卷積網(wǎng)絡(luò)和全組合層中的操作。（圖片來源：瑞薩電子株式會社）

DRP-AI 轉(zhuǎn)換器

The DRP-AI Translator tool generates DRP-AI optimized executables from trained ONNX models, independent of any AI framework. For example, a developer could use PyTorch, TensorFlow, or any other AI modeling framework if it outputs an ONNX model. Once the model is trained, it is fed into the DRP-AI Translator, which generates the DRP and AI-MAC executables (Figure 3).

Figure 3: AI models are trained using any ONNX compatible framework. The ONNX model is then fed into the DRP-AI Translator, which generates the DRP and AI-MAC executables. (Image source: Renesas Electronics Corporation)

The DRP-AI Translator has three primary purposes:

1. Scheduling of each operation to process the AI model.2. Hiding overhead such as memory access time that occurs during each operation's transition in the schedule.3. Optimizing the network graph structure.

The Translator automatically allocates each process of the AI model to the AI-MAC and DRP, thus allowing the user to easily use DRP-AI without being a hardware expert. Instead, the developer can make calls through the supplied driver to run the high-performance AI model. In addition, the DRP-AI translator can continuously update to support newly developed AI models without hardware changes.

系統(tǒng)用例和流程

使用 RZ/V2L MPU 訓練和部署視覺識別應(yīng)用的一般流程如圖 4 所示。像往常一樣，工程師可以獲取他們的數(shù)據(jù)集并使用它來訓練他們的視覺識別模型。無論他們是試圖識別貓、購物車中的產(chǎn)品還是裝配線上出現(xiàn)故障的零件，訓練過程都將使用熟悉的 AI 框架進行。訓練模型后，將其轉(zhuǎn)換為 ONNX 格式并饋送到 DRP-AI 轉(zhuǎn)換器，后者又輸出可在 DRP-AI 硬件上執(zhí)行的目標代碼。然后，對來自攝像頭、加速度計或其他傳感器的數(shù)據(jù)進行采樣并饋送到可執(zhí)行文件中，從而提供運行推理的結(jié)果。

圖 4：在 RZ/V2L MPU 上訓練和運行視覺識別算法的過程。（圖片來源：瑞薩電子株式會社）

工程師可以通過多種方式在設(shè)計中利用 RZ/V2L MPU（圖 5）。首先，RZ/V2L MPU 可用于獨立設(shè)計，其中 RZ/V2L 是系統(tǒng)中唯一的處理器。憑借其三個內(nèi)核和AI加速硬件，可能不需要額外的計算能力。

第二個用例是RZ/V2L在更廣泛的系統(tǒng)中用作AI處理器。在此用例中，RZ/V2L 運行 AI 推理并將結(jié)果返回給另一個處理器或系統(tǒng)，然后由該處理器或系統(tǒng)對該結(jié)果進行操作。選擇的用例將取決于各種因素，例如成本、整體系統(tǒng)架構(gòu)、性能和實時響應(yīng)要求。

！[瑞薩電子RZ/V2L MPU的兩個用例示意圖]（//file.elecfans.com/web2/M00/77/AB/poYBAGNkz22AKy4aAABBuflzq2w981.jpg“瑞薩電子RZ/V2L MPU的兩個用例”）圖 5：RZ/V2L MPU的兩個用例是在應(yīng)用中獨立使用它們，或者作為在更廣泛的系統(tǒng)中使用的 AI 處理器使用。（圖片來源：瑞薩電子株式會社）

實際應(yīng)用示例

有許多用例可以部署視覺識別技術(shù)。一個有趣的例子是在超市。今天，在雜貨店結(jié)賬時，員工或購物者通常會掃描購物車中的每件商品。一個有趣的用例是使用視覺識別檢測穿過傳送帶的產(chǎn)品并自動收費。

可以使用簡單的CMOS相機和瑞薩電子的[RTK9754L23S01000BE]（https://www.digikey.com/en/products/detail/renesas-electronics-america-inc/RTK9754L23S01000BE/16187521）評估板構(gòu)建原型（圖6）。RZ/V2L 嵌入式開發(fā)板具有模塊系統(tǒng) （SOM） 和載板，使開發(fā)人員能夠快速啟動和運行。此外，該開發(fā)板還支持Linux以及DRP-AI轉(zhuǎn)換器等各種工具。

！[瑞薩電子RZ/V2L嵌入式開發(fā)板圖像]（https://www.digikey.com/-/media/Images/Article%20Library/TechZone%20Articles/2022/September/Accelerate%20Vision%20Recognition%20System%20Design/article-2022september-accelerate-vision-recognition-system_fig6.jpg?la=en&ts=203d0787-6ae7-4716-8e1f-00dce15d82f9“Renesas RZ/V2L嵌入式開發(fā)板”）*圖 6：RZ/V2L 嵌入式開發(fā)板具有 SOM和載板，使開發(fā)人員能夠快速啟動和運行。（圖片來源：瑞薩電子株式會社）*

圖 7 顯示了獲取圖像數(shù)據(jù)和生成 AI 結(jié)果所需的操作概述。在本應(yīng)用示例中，傳送帶的圖像使用CMOS傳感器通過板載ISP拍攝。接下來，將圖像保存到內(nèi)存中并輸入DRP-AI引擎。最后，DRP-AI 引擎運行推理并提供 AI 結(jié)果。例如，結(jié)果可能是發(fā)現(xiàn)了香蕉、蘋果或其他水果。

結(jié)果通常伴隨著 0 到 1 的置信水平。例如，0.90 置信度表示 AI 確信它檢測到了一個蘋果。另一方面，0.52的置信度可能意味著人工智能認為它是一個蘋果，但不確定。獲取 AI 結(jié)果并在多個樣本中平均以提高獲得正確結(jié)果的機會的情況并不少見。

！[瑞薩電子RZ/V2L嵌入式開發(fā)板示意圖]（file.elecfans.com/web2/M00/77/AB/poYBAGNkz2-ADWgeAABVKqnBB7g602.jpg“瑞薩電子RZ/V2L嵌入式開發(fā)板”）圖 7：RZ/V2L 嵌入式開發(fā)板用于運行 AI 推理，以識別傳送帶上的各種水果。該圖演示了獲取圖像并生成 AI 結(jié)果所需的步驟。（圖片來源：瑞薩電子株式會社）

最后，在本例中，在檢測到的對象周圍繪制一個框，并顯示識別對象的名稱以及置信度（圖 8）。

！[瑞薩電子RZ/V2L的輸出示例]（https://www.digikey.com/-/media/Images/Article%20Library/TechZone%20Articles/2022/September/Accelerate%20Vision%20Recognition%20System%20Design/article-2022september-accelerate-vision-recognition-system_fig8.jpg?la=en&ts=06c253a5-b285-4dda-a005-be06d4026a2e“來自瑞薩電子RZ/V2L的輸出”）*圖 8：RZ/V2L 在檢測傳送帶上的水果和蔬菜的應(yīng)用中的示例輸出。（圖片來源：瑞薩電子株式會社）*

開始使用 RZ/V2L 的提示和技巧

希望在瑞薩電子RZ/V2L MPU上開始機器學習的開發(fā)人員會發(fā)現(xiàn)，他們有大量資源可以利用來啟動和運行。以下是開發(fā)人員應(yīng)牢記的幾個"提示和技巧"，可以簡化和加快他們的開發(fā)：

• 從開發(fā)板和現(xiàn)有示例開始，了解部署和運行應(yīng)用程序的情況。*如果需要執(zhí)行多個推理，請將可執(zhí)行模型保存到外部存儲器，并使用 DRP-AI 功能在模型之間快速切換。*查看瑞薩電子RZ/V嵌入式AI MPU網(wǎng)站上的文檔和視頻。*下載[DRP-AI 轉(zhuǎn)換器]（https://www.renesas.com/us/en/products/microcontrollers-microprocessors/rz-arm-based-high-end-32-64-bit-mpus/drp-ai-translator）。*下載 RZ/V2L[DRP-AI 支持包]（https://www.renesas.com/us/en/products/microcontrollers-microprocessors/rz-arm-based-high-end-32-64-bit-mpus/rzv2l-drp-ai-support-package）。

遵循這些"提示和技巧"的開發(fā)人員在開始時將節(jié)省相當多的時間和悲傷。

結(jié)論

ML 和 AI 正在進入許多邊緣應(yīng)用，實時識別對象的能力變得越來越重要。對于設(shè)計人員來說，困難在于找到合適的架構(gòu)來在邊緣執(zhí)行 AI/ML。GPU 往往耗電，而 MCU 可能沒有足夠的計算能力。

如圖所示，采用DRP-AI的瑞薩電子RZ/V MPU系列具有硬件加速AI等多個優(yōu)勢，以及大量的工具鏈和原型設(shè)計支持。