項(xiàng)目簡介

本項(xiàng)目使用Edge Impulse進(jìn)行模型的訓(xùn)練。Edge Impulse是一個(gè)端到端的開發(fā)平臺，專為構(gòu)建和部署嵌入式機(jī)器學(xué)習(xí)模型而設(shè)計(jì)。它使開發(fā)人員能夠使用傳感器數(shù)據(jù)來構(gòu)建自定義的機(jī)器學(xué)習(xí)模型，并在邊緣設(shè)備上運(yùn)行這些模型，而無需互聯(lián)網(wǎng)連接。Edge Impulse提供了一系列的工具和庫，使開發(fā)人員能夠快速有效地構(gòu)建和部署自定義的嵌入式機(jī)器學(xué)習(xí)應(yīng)用程序。

之所以使用鳥巢作為項(xiàng)目的識別對象，是因?yàn)轼B巢的特征繁多不容易提取，可以充分測試本設(shè)備的運(yùn)算能力，為日后識別模型和設(shè)備的選型提供參考。

一、需要用到的工具和安裝包和源碼包

工程源碼:

https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board

RT-Thread env工具:

https://www.rt-thread.org/download.html

Renesas Flash Programmer燒錄工具:

https://www.renesas.com/us/en/software-tool/renesas-flash-programmer-programming-gui

openmv ide

https://openmv.io/pages/download

模型開發(fā)平臺：

https://edgeimpulse.com/

二、開發(fā)過程

1、openmv工程的下載與編譯

克隆sdk-bsp-ra8d1-vision-board源碼包，使用env工具切換至目錄$PRJ/sdk-bsp-ra8d1-vision-board/projects/vision_board_openmv

運(yùn)行mklinks.bat生成兩個(gè)鏈接

運(yùn)行env并切換至vision_board_openmv/, 使用scons命令進(jìn)行編譯

編譯過程會(huì)報(bào)如下錯(cuò)誤

參考https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board/pull/88，使用 arm-gnu-toolchain-13.2.rel1 版本工具鏈進(jìn)行編譯。下載工具鏈，并在env中設(shè)置環(huán)境變量set RTT_EXEC_PATH=D:\your toolchain path\bin

2、模型訓(xùn)練

進(jìn)行模型開發(fā)平臺https://edgeimpulse.com/

按提示新建工程并設(shè)置工程配置項(xiàng)

選擇左欄進(jìn)行原始數(shù)據(jù)上傳，配置如下，我選擇的是自動(dòng)劃分訓(xùn)練和測試項(xiàng)，自定義標(biāo)簽

圖片上傳后，可以分別查看訓(xùn)練集和測試集的內(nèi)容

根據(jù)Labeling queue (0)進(jìn)行圖片的標(biāo)注

使用Impulse design-> Create impulse 進(jìn)行模型配置

使用Impulse design-> image配置顏色深度為RGB，并生成特征。

使用Impulse design-> Object Detection 配置訓(xùn)練參數(shù)并開始訓(xùn)練

訓(xùn)練結(jié)果

工程庫的生成Deployment-> build

生成文件

三、項(xiàng)目測試

將labels.txt和trained.tflite兩個(gè)文件復(fù)制到sd卡，并將卡插入開發(fā)板

燒錄vision_board_openmv/工程的hex文件到開發(fā)板

打開openmv ide并打開ei_object_detection.py

連接并運(yùn)行腳本

可以看到訓(xùn)練效果，已經(jīng)能識別到鳥巢。