主要指標(biāo)：precision、recall 和 mAP_0, 5 均大于 0.9。在 ML 中，mAP_0.5 在 0.6 和 0.9 之間的差異在現(xiàn)實(shí)世界的檢測(cè)中是巨大而巨大的。

不幸的是，基于官方訓(xùn)練的最終模型yolov5n6接近4MB，而Grove AI模塊的約束模型大小不超過1MB。因此，我們不能使用任何此類更大的模型（已嘗試）。一些建議將在最后一節(jié)中討論。 推論

仿真中檢測(cè)的三個(gè)例子

?

經(jīng)過以上訓(xùn)練，我們進(jìn)行圖片仿真，初步評(píng)估模型的效果。讓我們看例子。

以上是 Grove AI 模塊的輸出。分類指數(shù)在中間，置信度在旁邊。對(duì)應(yīng)指標(biāo)的動(dòng)物名稱可以在上面的訓(xùn)練圖中看到。

第一次和第二次檢測(cè)是正確的，第三次檢測(cè)是錯(cuò)誤的。第三張圖是一只喜鵲在天上飛，推理結(jié)果是蝴蝶。我們只是在后面的real-wprld評(píng)估中看到這個(gè)分類模型的影響。

真實(shí)世界評(píng)估

現(xiàn)實(shí)世界中的推理比實(shí)驗(yàn)室中的推理更具挑戰(zhàn)性。因?yàn)闇y(cè)試時(shí)所處的環(huán)境或測(cè)試者或被測(cè)對(duì)象的狀態(tài)都會(huì)對(duì)結(jié)果產(chǎn)生很大的影響。這就是我們?cè)诠ぷ髁鞒滩糠诌M(jìn)行規(guī)劃的原因。

我們通過TinyWild 項(xiàng)目中的郊野公園野生動(dòng)物調(diào)查進(jìn)行了真實(shí)世界的評(píng)估。執(zhí)行兩種類型的檢測(cè)：

• 基于動(dòng)態(tài)視口（移動(dòng)相機(jī)）的檢測(cè)

整個(gè)調(diào)查的分類統(tǒng)計(jì)（置信度>75）

?

上圖是整個(gè)調(diào)查的分類統(tǒng)計(jì)（置信度>75）。相機(jī)移動(dòng)的時(shí)間很長(zhǎng)。因此，這是一個(gè)基于動(dòng)態(tài)視口（移動(dòng)相機(jī)）的檢測(cè)。源于軟件邏輯的“未知”和空動(dòng)物已被排除在外。

基本結(jié)論是，對(duì)于個(gè)體識(shí)別來說，不是特別理想，但是收集到的定性信息是有效的。

Bufferfly在統(tǒng)計(jì)上相對(duì)突出，但沒有在公園里見過很多次的Magpie。

這似乎是喜鵲被識(shí)別為緩沖蠅，如上面推理部分的分析所示。它們的共同點(diǎn)是，它們經(jīng)常在空中飛行。三個(gè)真實(shí)世界的因素：移動(dòng)的相機(jī)、移動(dòng)的物體和低分辨率，對(duì)識(shí)別結(jié)果有很大的影響。

• 基于靜態(tài)視口（靜態(tài)相機(jī)）的檢測(cè)

為減少移動(dòng)因素的影響，還在湖邊開展了野鴨（野鴨）專項(xiàng)觀測(cè)。

在上面的第一個(gè)捕獲中，我們前端 UI 中鴨子的數(shù)量（其中一個(gè)有趣的地方是 UI 中的動(dòng)態(tài)表是由 SQL 查詢驅(qū)動(dòng)的，請(qǐng)參閱我們未來項(xiàng)目中的更多信息）。突然，兩個(gè)鴨子游入鏡頭范圍。鴨子的數(shù)量已經(jīng)增加到13?？紤]到原來的鴨子是被數(shù)過的，13是當(dāng)時(shí)精確的數(shù)。發(fā)現(xiàn)Grove AI 對(duì)附近的動(dòng)物檢測(cè)非常有效，就像我們?cè)诤吽龅哪菢樱寒?dāng)三只鴨子突然以相對(duì)靜態(tài)定位游入相機(jī)范圍時(shí)，我們得到了三個(gè)計(jì)數(shù)。（注：在TinyWild項(xiàng)目中，我們說有四項(xiàng)計(jì)數(shù)，但根據(jù)我們的錄音應(yīng)該更正為三項(xiàng)計(jì)數(shù)。）

建議

基于以上實(shí)踐，我們針對(duì)廉價(jià)邊緣人工智能硬件上的 EdgeML 或 TinyML給出以下建議：

• 嘗試靜態(tài)觀察

即觀察者不做大動(dòng)作。

• 檢測(cè)盡可能少的物體

例如，只做二元分類：人或沒有人，猴子或沒有猴子，鳥或沒有鳥。

• 使模型的主要指標(biāo)盡可能大

例如，precision > 0.8，recall 和 mAP_0.5 > 0.6。

• 盡可能提高識(shí)別準(zhǔn)確率（比如，更長(zhǎng)的訓(xùn)練時(shí)間）

廉價(jià)的邊緣 ML 硬件通常資源有限，例如 Grove AI 模塊的約束模型大小不超過 1MB，低于 yolov5 官方 yolov5n 預(yù)訓(xùn)練網(wǎng)絡(luò)訓(xùn)練的模型大小。發(fā)現(xiàn)較小的模型會(huì)顯著影響模型的主要指標(biāo)。