描述

介紹

在這個項目中，我構(gòu)建了一個設備，該設備可用于從熱像儀讀數(shù)中檢測面部，并可以通過推斷面部皮膚溫度來準確測量人的溫度。如果檢測到高溫，人們可以使用他們的智能手機掃描二維碼（顯示在屏幕上）以獲取更多信息。此外，還會顯示當?shù)厍笾鸁峋€電話號碼，該人可以聯(lián)系以進行查詢。

主要特點

• 非接觸式
• 易于大規(guī)模使用、復制和部署
• 低成本
• 開源
• 用戶隱私
• 對發(fā)展中國家友好
• 準確性
• 速度

設備選擇

balenaFin v1.0 套件與 Raspberry PI Compute Module 3+ 一起使用。

?

Gameduino 3 shield 用作顯示器。對于熱像儀 Pimoroni MLX90640 傳感器，其分辨率為 32x24 像素。

?

連接圖可在原理圖部分獲得。

設備設置

要使用容器在 balenaFin 上設置應用程序，我們需要注冊并登錄 balenaCloud。登錄后，我們可以通過單擊顯示如下表單的創(chuàng)建應用程序按鈕來創(chuàng)建應用程序。我們應該選擇Balena Fin (CM3)作為Default device type和Starter作為Application type 。

?

單擊創(chuàng)建的應用程序鏈接，然后單擊添加設備按鈕后，我們可以填寫設備信息。我們應該選擇Development作為版本，并選擇帶有 ssid 和密碼的 Wifi + E以太網(wǎng)連接用于家庭/工作路由器。

?

?

我們現(xiàn)在可以通過單擊底部的按鈕來下載 balenaOS。

要將 balenaOS 刷入 balenaFin，我們可以使用 balenaEcther，可以從這里下載https://www.balena.io/etcher。我們應該使用 USB 電纜將計算機連接到 balenaFIn 并連接電源適配器。

?

刷機完成后，我們應該拔下 USB 線并斷開/重新連接電源適配器。幾分鐘后，我們應該能夠在 balenaCloud 儀表板中看到該設備。

?

MLX90640 傳感器使用 I2C 獲取熱讀數(shù)。為了快速讀取數(shù)據(jù)，我們應該在設備配置中更新將 DT 參數(shù)定義為“i2c_arm=on”、“spi=on”、“audio=on”、“i2c1_baudrate=1000000” 。

部署

我們現(xiàn)在可以將應用程序容器部署到設備上。我們將啟用本地模式，如下所示，以便我們可以使用 balena CLI（一個命令行工具）與 balenaCloud 交互以進行快速開發(fā)和部署。balena CLI 安裝說明可以在這里找到https://github.com/balena-io/balena-cli/blob/master/INSTALL.md 。

?

以下是部署命令。

$ balena login
$ git clone https://github.com/metanav/thermal_face_detection
$ cd thermal_face_detection
$ sudo balena scan
Reporting scan results
-
host: df0925a.local

$ balena push df0925a.local

Dockerfile 中提到了所有先決條件和依賴項，該文件可以在上面克隆的存儲庫的根目錄中找到。一切都會自動安裝并部署到目標設備。

人臉檢測的模型選擇

公共領(lǐng)域可用的深度學習模型主要用于照相機拍攝的圖像。通常他們需要配備顯卡或神經(jīng)網(wǎng)絡加速器的高端計算機才能以高幀速率運行。對于這個項目，我想保持低成本，但仍然開發(fā)一種可以以相當快的速度準確使用的設備。為此目的，使用了 BlazeFace 模型，該模型在低分辨率熱像儀圖像中檢測人臉時表現(xiàn)出相當高的準確性。該模型與默認的訓練權(quán)重一起使用，無需對熱圖像進行任何遷移學習。

應用程序開發(fā)

主應用程序有兩個部分。第一部分是用 Python 3 編寫的，主要是關(guān)于從熱像儀獲取數(shù)據(jù)并進行人臉檢測和溫度測量。第二部分是用 C 語言編寫的，主要用于處理 Gameduino 3 TFT 顯示器以顯示熱圖像和信息。該代碼可在代碼部分中提到的 Github 存儲庫中獲得。

在設備上進行推理

BlazeFace TensorFlow Lite 模型是從https://github.com/google/mediapipe 下載的。TensorFlow Lite Runtime Python API 用于在設備上運行推理。

演示

人臉檢測（常溫）

帶口罩的人臉檢測（常溫）

人臉檢測（高溫）

共同利益的用例

它是一種易于使用的低功耗設備，可以安全使用，因為所有操作都是非接觸式和離線的。該設備不使用照相機來檢測人臉，而是使用熱傳感器生成熱圖像并使用現(xiàn)成的本地部署深度學習模型檢測人臉。使用此設備沒有隱私威脅，因為它不會捕獲用戶的任何真實圖像，也不會將任何數(shù)據(jù)發(fā)送到云或任何其他位置。互聯(lián)網(wǎng)連接僅用于部署和更新。該設備可以安裝在商場、學校和辦公室。此外，在發(fā)展中國家，該設備可用于電力和互聯(lián)網(wǎng)稀缺的貧困地區(qū)。在這些區(qū)域，它可以使用電池進行操作，并且可以在安裝前進行部署。

改進范圍

通過使用熱像儀圖像進行遷移學習，可以進一步提高人臉檢測的準確性。目前該設備只顯示英文信息，可以支持多國語言。幫助熱線電話號碼和二維碼 URL 是針對我所在地區(qū)的硬編碼，但它可以基于設備的地理位置，并且可以使用balenaCloud 中的設備環(huán)境變量進行設置。

所有說明都可以在代碼部分提到的 Github 存儲庫中找到。我要感謝Hackster.io和本次比賽的所有贊助商，感謝 Balena 提供 balenaFin 開發(fā)工具包。