描述

TeamName- 尤達(dá)

TeamMembers- Tharun Medini（只有我）

Goal

該項(xiàng)目的主要任務(wù)是在 Arduino Nano BLE Sense 33 等邊緣設(shè)備上訓(xùn)練神經(jīng)網(wǎng)絡(luò)。該設(shè)備的內(nèi)存和處理能力非常有限。因此，我們需要將神經(jīng)網(wǎng)絡(luò)壓縮到一個(gè)非常小的占用空間，然后將其與某個(gè)特定任務(wù)的真實(shí)輸入信號(hào)結(jié)合使用。

Task

我選擇了喚醒詞檢測(cè)任務(wù)。在這個(gè)任務(wù)中，我們需要邊緣設(shè)備（Arduino Nano BLE Sense 33）來聽聲音，并將口語(yǔ)分類為“是”、“否”、“不是”和靜音。為了觀察性能，我們打算在我們說“是”時(shí)點(diǎn)亮板上的綠色 LED，當(dāng)我們說“否”時(shí)點(diǎn)亮紅色 LED。換句話來說，當(dāng)我們保持沉默時(shí)，藍(lán)色的 LED 應(yīng)該會(huì)亮起，并且什么都不會(huì)亮起。

WorkFlow

涉及的三個(gè)主要步驟是 1) 在 Tensorflow 中訓(xùn)練機(jī)器學(xué)習(xí)模型 2) 將模型量化為低位（通常為 8 位）并將其轉(zhuǎn)換為 C 代碼和 3) 構(gòu)建并將其上傳到 Arduino Nano BLE Sense 33 板。

Data and Model

用于訓(xùn)練的數(shù)據(jù)集是一個(gè)語(yǔ)音命令數(shù)據(jù)集，它有 65000 個(gè)數(shù)據(jù)點(diǎn)，對(duì)應(yīng)于 30 個(gè)單詞的一秒話語(yǔ)。我們對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，將 30 個(gè)類修改為僅 4 個(gè)。兩個(gè)類明確表示“是”和“否”，將 28 個(gè)單詞放入一個(gè)名為“未知”的類中，最后一個(gè)類表示沉默。數(shù)據(jù)被預(yù)先特征化為 2D 頻譜圖，并使用 CNN 進(jìn)行訓(xùn)練。

Arduino Issues

我訂購(gòu)了兩塊 Arduino Nano 板，因?yàn)槲以谑褂玫谝粔K時(shí)遇到了很多問題。可操作性是命中注定的。我還訂購(gòu)了具有顯式數(shù)據(jù)模式和電源模式切換的電纜，因?yàn)槟J(rèn)電纜無(wú)法正常工作。

另一個(gè)主要問題是，從 Arduino IDE 上傳代碼后，COM 端口發(fā)生變化，Arduino 斷開連接。但是，使用網(wǎng)絡(luò)編輯器，我克服了這個(gè)問題。

?

?