為嵌入式處理器開發(fā)AI模型面臨幾個(gè)獨(dú)特的挑戰(zhàn)。與基于云的AI不同，大型模型可以利用海量數(shù)據(jù)集和服務(wù)器級(jí)處理，而邊緣AI需要最高的數(shù)據(jù)保真度，以確保在嚴(yán)格的資源限制下的準(zhǔn)確性。由于內(nèi)存、計(jì)算能力和模型大小有限，輸入數(shù)據(jù)的質(zhì)量會(huì)直接影響性能，因此高效的數(shù)據(jù)收集、實(shí)時(shí)監(jiān)控和快速設(shè)備測(cè)試對(duì)于成功至關(guān)重要。

為了滿足這些需求，瑞薩電子提供了Reality AI Utilities，這是一套強(qiáng)大的工具，可實(shí)現(xiàn)端到端的邊緣AI開發(fā)。這些實(shí)用程序可作為e2 studio的插件使用，也可以用作其他常用IDE（如CS+、Keil和IAR）中的獨(dú)立工具，無(wú)論您的開發(fā)環(huán)境如何，都能提供靈活性。

Reality AI Utilities包括以下內(nèi)容：

數(shù)據(jù)存儲(chǔ)工具：從您的硬件捕獲傳感器和麥克風(fēng)信號(hào)，并將其上傳到Reality AI Tools云平臺(tái)，以進(jìn)行高保真信號(hào)分析和AI模型開發(fā)。

AI Live Monitor：在設(shè)備上可視化實(shí)時(shí)推理，包括原始類分?jǐn)?shù)和后處理邏輯，幫助開發(fā)人員通過即時(shí)反饋調(diào)試和優(yōu)化模型。

硬件在環(huán)（HIL）測(cè)試：使用下載的測(cè)試數(shù)據(jù)集直接在瑞薩電子硬件上對(duì)AI模型進(jìn)行批量測(cè)試，從而在實(shí)際條件下進(jìn)行快速準(zhǔn)確的驗(yàn)證。

無(wú)論您是在e2 studio還是其他受支持的IDE中工作，這些工具都可以通過提高準(zhǔn)確性、加快測(cè)試速度并簡(jiǎn)化從原型到部署的路徑來(lái)幫助加速邊緣AI開發(fā)。在本博客中，我們將探討每個(gè)實(shí)用程序，以及它們?nèi)绾斡兄趶念^到尾構(gòu)建具有高保真度的強(qiáng)大邊緣AI系統(tǒng)。

圖1：Reality AI Utilities解決方案工具包簡(jiǎn)化了端到端邊緣AI開發(fā)

Reality AI Utilities如何簡(jiǎn)化流程？

典型的嵌入式AI項(xiàng)目開發(fā)遵循以下工作流程：

寫入固件以收集數(shù)據(jù)。

對(duì)數(shù)據(jù)進(jìn)行預(yù)處理以適應(yīng)文件格式-以供AI工具使用。

開發(fā)和優(yōu)化模型。

通過編寫固件來(lái)計(jì)算準(zhǔn)確性/推理速度，從而在設(shè)備上驗(yàn)證模型。

將模型集成到嵌入式項(xiàng)目工作流程中，以進(jìn)行現(xiàn)場(chǎng)測(cè)試。

Reality AI Utilities通過從上到下自動(dòng)執(zhí)行關(guān)鍵步驟來(lái)簡(jiǎn)化這一過程。下面是一個(gè)端到端的工作流程圖：

圖2：項(xiàng)目工作流程中的Reality AI Utilities

工作流程的第一步是從Reality AI Tools云平臺(tái)檢索您的API密鑰，并將其與Reality AI Utilities插件鏈接，無(wú)論是在e2 studio中還是在獨(dú)立應(yīng)用程序中。連接后，您可以在本地環(huán)境和云之間無(wú)縫傳輸數(shù)據(jù)，無(wú)論是并排使用這兩個(gè)工具還是在它們之間切換。接下來(lái)，使用e2 studio或Renesas Smart Configurator設(shè)置您的嵌入式項(xiàng)目，以創(chuàng)建用于數(shù)據(jù)收集和直接在硬件上運(yùn)行AI推理模塊的本地工作區(qū)。

項(xiàng)目就緒后，您可以開始使用Reality AI Utilities，從數(shù)據(jù)存儲(chǔ)工具（DST）開始。DST提供了一個(gè)簡(jiǎn)單而強(qiáng)大的界面，用于捕獲傳感器或通道數(shù)據(jù)、對(duì)其進(jìn)行標(biāo)記并將其上傳到您鏈接的Reality AI Tools項(xiàng)目。該工具負(fù)責(zé)格式設(shè)置和標(biāo)簽一致性，使開發(fā)人員能夠?qū)Ｗ⒂跒槠涫褂冒咐占_類型和數(shù)量的數(shù)據(jù)。

在后臺(tái)，Renesas提供了名為Data Collector/Data Shipper（DC/DS）的輕量級(jí)中間件。這些模塊抽象化了您的數(shù)據(jù)流，從而可以輕松收集訓(xùn)練數(shù)據(jù)并將其路由到AI推理模塊，而無(wú)需重寫代碼。最重要的是，DC/DS適用于任何基于Renesas的硬件，包括定制板。只要您有UART或USB連接，就不僅限于使用評(píng)估套件。

圖3：Reality AI Utilities–數(shù)據(jù)存儲(chǔ)工具

在模型開發(fā)過程中，Reality AI Tools會(huì)持續(xù)估計(jì)模型的準(zhǔn)確性、大小和復(fù)雜性。但是，由于不同的編譯器工具鏈應(yīng)用了各種低級(jí)優(yōu)化，因此只有當(dāng)模型部署在實(shí)際硬件上時(shí)，才能準(zhǔn)確驗(yàn)證真實(shí)的模型性能，例如推理時(shí)間和內(nèi)存使用情況。

為了解決這個(gè)問題，Reality AI Utilities包括強(qiáng)大的硬件在環(huán)（HIL）測(cè)試功能。該工具直接連接到用戶的Reality AI Tools帳戶，自動(dòng)下載所選模型和關(guān)聯(lián)的數(shù)據(jù)集，并將它們集成到Reality AI Utilities"VIEW"環(huán)境中的測(cè)試項(xiàng)目中。

只需單擊一下，無(wú)需編碼，系統(tǒng)即可構(gòu)建項(xiàng)目，在連接的Renesas硬件上運(yùn)行模型，并報(bào)告真實(shí)指標(biāo)，例如推理時(shí)間、真實(shí)數(shù)據(jù)集上的模型準(zhǔn)確性和模型內(nèi)存要求。

圖4：Reality AI Utilities–硬件在環(huán)測(cè)試

如果您的模型提供了可接受的結(jié)果，下一步就是現(xiàn)場(chǎng)測(cè)試，這就是Reality AI Utilities在Live Monitor中大放異彩的地方。AI Live Monitor基于相同的輕量級(jí)DC/DS中間件構(gòu)建，可對(duì)您開發(fā)的模型進(jìn)行實(shí)時(shí)現(xiàn)場(chǎng)測(cè)試。它提供強(qiáng)大的功能，例如概率分?jǐn)?shù)，讓工程師清楚地了解模型的置信度，以及平滑，這是一種后處理技術(shù)，通過考慮當(dāng)前預(yù)測(cè)和以前的數(shù)據(jù)趨勢(shì)來(lái)增強(qiáng)穩(wěn)健性。所有這些都可以通過一個(gè)直觀的GUI訪問，無(wú)需手動(dòng)編碼。這些功能使工程師能夠自信地推進(jìn)生產(chǎn)部署，或者在需要時(shí)使用精細(xì)的參數(shù)和其他數(shù)據(jù)返回訓(xùn)練。

圖5：Reality AI Utilities–AI實(shí)時(shí)監(jiān)視器

在任何項(xiàng)目中，在確保模型準(zhǔn)確性和正確性的同時(shí)節(jié)省開發(fā)時(shí)間是重中之重。由于硬件、數(shù)據(jù)收集、傳感器集成等的固有復(fù)雜性，這在處理嵌入式AI系統(tǒng)時(shí)變得更加重要。但是，Reality AI Utilities可以自動(dòng)化和簡(jiǎn)化項(xiàng)目工作流程，使客戶能夠以最高的數(shù)據(jù)保真度加速開發(fā)目標(biāo)解決方案，同時(shí)將模型大小降至最低。

我們鼓勵(lì)您探索這些工具，以進(jìn)一步增強(qiáng)開發(fā)體驗(yàn)。

Reality AI Utilities

https://www.renesas.cn/zh/software-tool/reality-ai-utilities

Reality AI Tools

https://www.renesas.cn/zh/software-tool/reality-ai-tools

e2 studio

https://www.renesas.cn/zh/software-tool/e-studio

Renesas Smart Configurator

https://www.renesas.cn/zh/software-tool/smart-configurator