描述

在早期的項(xiàng)目中，我開發(fā)了一個自平衡機(jī)器人。

機(jī)器人可以由操縱桿控制。在這個項(xiàng)目中，機(jī)器人由手勢控制。手勢由神經(jīng)網(wǎng)絡(luò)識別。神經(jīng)網(wǎng)絡(luò)基于TensorFlow Lite 。

TensorFlow Lite 是TensorFlow用于移動和嵌入式設(shè)備的輕量級解決方案。它使您可以在 Arduino 等移動設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型。

我的草圖是在Arduino Nano BLE Sense上實(shí)現(xiàn)的。該板具有內(nèi)置的九軸 IMU。該傳感器模塊包含一個 3 軸陀螺儀、一個 3 軸加速度計(jì)和一個 3 軸磁傳感器。

對于使用 TensorFlow 進(jìn)行訓(xùn)練，首先使用陀螺儀和加速度計(jì)（Sketch IMU_Capture.ino）記錄所需的手勢。之后，使用 PC 上的Jupyter Notebook 或GoogleColab中的 Python 數(shù)據(jù)進(jìn)行訓(xùn)練。GoogleColab 提供了一個Jupyter notebook ，它允許我們在網(wǎng)絡(luò)瀏覽器中運(yùn)行我們的機(jī)器學(xué)習(xí)模型。網(wǎng)絡(luò)訓(xùn)練完成后，模型將轉(zhuǎn)換為 TensorFlow Lite。要將模型與 TensorFlow Lite 一起使用，您必須將完整的 TensorFlow 模型轉(zhuǎn)換為 TensorFlow Lite 格式。

最后，將轉(zhuǎn)換后的模型復(fù)制到草圖 IMU_Classifier.ino 的 Arduino 頭文件中。

Sandeep Mistry 和 Don Coleman的TinyML 文章中很好地解釋了必要的步驟。

• 練習(xí) 1：開發(fā)環(huán)境

• 練習(xí) 2：組裝硬件

• 練習(xí) 3：可視化 IMU 數(shù)據(jù)

• 練習(xí) 4：收集訓(xùn)練數(shù)據(jù)

• 練習(xí) 5：機(jī)器學(xué)習(xí)

• 練習(xí) 6：分類 IMU 數(shù)據(jù)

• 練習(xí) 7：手勢控制的 USB 表情符號鍵盤

• 練習(xí) 8：后續(xù)步驟

草圖的模板在GitHub中：

• ArduinoSketches/IMU_Capture/IMU_Capture.ino

• ArduinoSketches/IMU_Classifier/IMU_Classifier.ino

為了我的目的，我已經(jīng)修改了這些草圖。

Sketch IMU_Classifier.ino使用板載 IMU 開始從板載 IMU 讀取加速度和陀螺儀數(shù)據(jù)，一旦讀取足夠的樣本，它就會使用 TensorFlow Lite (Micro) 模型嘗試將運(yùn)動分類為已知手勢. 識別手勢后，將 X 和 Y 坐標(biāo)發(fā)送到自平衡機(jī)器人。不幸的是，我無法使用 Arduino Nano 的藍(lán)牙 BLE，因?yàn)檫@與我的 DUE 板上的 HC-05 Modul 與自平衡機(jī)器人不兼容。這就是我使用 HC-05 藍(lán)牙模塊的原因。

在以下示例中顯示了 Caputre 的手勢。

文件“前進(jìn)”加速的圖形索引 0

?

文件'forward'陀螺儀的圖形索引0

?

鏈接：我在 Google Colab 上的 Jupyter Notebook。您可以在 Google Colaboratory 中運(yùn)行它。