Espressif × Bosch Sensortec

樂鑫科技 (688018.SH) 宣布與 Bosch Sensortec（博世傳感器）達(dá)成合作，共同推出基于動作感知與大模型能力的人機(jī)交互創(chuàng)新方案。

該方案旨在推動多模態(tài)感知與智能交互技術(shù)的深度融合，覆蓋 AI 玩具、智能家居、運(yùn)動健康、智慧辦公等典型應(yīng)用場景，實(shí)現(xiàn)從環(huán)境感知、行為理解到智能反饋的完整鏈路升級，為新一代智能終端提供更自然、更實(shí)時的交互體驗(yàn)。

在合作簽約儀式上，樂鑫創(chuàng)始人兼 CEO 張瑞安、Bosch Sensortec 總經(jīng)理兼首席執(zhí)行官 Stefan Finkbeiner 以及 Bosch Sensortec 亞太區(qū)總裁王宏宇等共同出席，正式宣布雙方合作的啟動。

合作簽約儀式在樂鑫科技上?？偛颗e行

張瑞安在儀式上表示：“通過將 Bosch Sensortec 經(jīng)驗(yàn)證的高性能 MEMS 傳感器集成到我們的平臺中，我們能夠幫助客戶為幾乎任何應(yīng)用場景構(gòu)建穩(wěn)健、精準(zhǔn)的傳感解決方案，并在基礎(chǔ)層面保證卓越品質(zhì)。”

Stefan Finkbeiner 隨后補(bǔ)充道：“通過與樂鑫科技的合作，我們正在讓先進(jìn)的傳感技術(shù)更易于獲取和使用。樂鑫在生態(tài)體系建設(shè)方面給予的支持，對推動傳感器在各類消費(fèi)應(yīng)用中的廣泛采用，以及塑造下一代物聯(lián)網(wǎng)解決方案具有重要價值?！?/p>

樂鑫科技創(chuàng)始 CEO 張瑞安與 Bosch Sensortec 總經(jīng)理兼首席執(zhí)行官 Stefan Finkbeiner 共同見證合作達(dá)成

核心技術(shù)亮點(diǎn)

在此次聯(lián)合方案中，博世提供多類型高性能 MEMS 傳感器及算法優(yōu)化能力，用于精準(zhǔn)獲取微動作、姿態(tài)與環(huán)境變化等多維數(shù)據(jù)；樂鑫以雙頻 Wi-Fi 6 物聯(lián)網(wǎng)芯片ESP32-C5作為核心主控，通過穩(wěn)定的無線連接、實(shí)時的數(shù)據(jù)處理能力以及對 MCP 協(xié)議的原生支持，實(shí)現(xiàn)感知數(shù)據(jù)的本地解析與大模型聯(lián)動，使系統(tǒng)在端側(cè)具備即時理解與響應(yīng)能力。

這一方案不僅融合了雙方的核心技術(shù)能力，也在系統(tǒng)架構(gòu)、數(shù)據(jù)鏈路與交互體驗(yàn)層面進(jìn)行了深度協(xié)同。無論是動作識別、場景感知，還是智能響應(yīng)，均經(jīng)過體系化整合，使設(shè)備能夠更準(zhǔn)確地理解用戶意圖。同時，該方案提供標(biāo)準(zhǔn)化的軟硬件基礎(chǔ)能力，大幅降低開發(fā)與驗(yàn)證的復(fù)雜度，縮短創(chuàng)新產(chǎn)品的落地周期，助力開發(fā)者更高效地構(gòu)建下一代智能應(yīng)用。

樂鑫攜手 Bosch Sensortec（博世傳感器）

聯(lián)合推出 AI 智能交互方案

從感知到應(yīng)用場景

搭載 ESP32-C5 與BMI270 傳感器的系統(tǒng)，不僅能捕捉手勢與姿態(tài)變化，還能結(jié)合大模型與 MCP 滿足更深層次的用戶需求。BMI270 內(nèi)置算法，可獨(dú)立完成畫圈、搖晃、單擊、多擊、旋轉(zhuǎn)角度等手勢動作識別；即使主控處于低功耗休眠，BMI270 也能持續(xù)感知環(huán)境，并在檢測到動作時即時喚醒系統(tǒng)，實(shí)現(xiàn)快速響應(yīng)。

01

智能家居

樂鑫將同步推出 Home Assistant 的原生插件以及對應(yīng)的 ESP32-C5 開源固件，可以將設(shè)備快速綁定在 Home Assistant 開源智能家居平臺。通過該插件，設(shè)備能夠被自動發(fā)現(xiàn)，并實(shí)現(xiàn)傳感器數(shù)據(jù)上報(bào)與行為控制。所有狀態(tài)、動作都統(tǒng)一接入 Home Assistant 的自動化體系，使設(shè)備不再局限于單一用途：它既可以作為門窗傳感器參與場景聯(lián)動，也可以成為無線調(diào)光器控制照明，甚至能夠充當(dāng)語音中控，輕松接入整個智能家居系統(tǒng)。

在光環(huán)境調(diào)節(jié)場景中，用戶無需尋找開關(guān)，只需輕輕轉(zhuǎn)腕或敲擊桌面，傳感器即可完成動作識別；ESP32-C5 隨即解析用戶意圖，通過 MCP 調(diào)度 Home Assistant 的設(shè)備與服務(wù)，自動調(diào)整燈光亮度與色溫，讓空間自然貼合用戶需求。

通過樂鑫官方 HA 插件快速接入智能家居平臺

02

辦公助手

除了家居場景，ESP32-C5 接入 MCP 的能力同樣讓辦公環(huán)境更智能、更貼心。設(shè)備可放置在桌面，持續(xù)感知敲擊與手勢等微動作，并在本地快速解析用戶意圖 ，通過 MCP 將這些動作直接轉(zhuǎn)化為對各類智能設(shè)備與服務(wù)的調(diào)度——例如規(guī)劃行程，會議提醒，或提前準(zhǔn)備會議所需的設(shè)備或應(yīng)用等。

無論是語音指令，還是動作觸發(fā)的提醒，ESP32-C5 都能即時解析，并由 MCP 直接驅(qū)動關(guān)聯(lián)設(shè)備和服務(wù)，在不打斷工作節(jié)奏的前提下提升專注與效率。

結(jié)合 MCP，讓交互更自然、更貼近用戶

03

運(yùn)動感知

在運(yùn)動場景中，設(shè)備能夠借助 IMU 在本地完成精準(zhǔn)的動作計(jì)數(shù)與姿態(tài)判斷。當(dāng)用戶完成一組訓(xùn)練時，大模型能夠根據(jù)當(dāng)前訓(xùn)練狀態(tài)給出反饋或姿態(tài)建議，并生成后續(xù)訓(xùn)練計(jì)劃。通過語音、燈光等多模態(tài)方式自然呈現(xiàn)，使設(shè)備從單純的計(jì)數(shù)器升級為理解訓(xùn)練節(jié)奏的智能伙伴。

這種結(jié)合不僅展示了動作感知的精準(zhǔn)，更凸顯了 ESP32-C5 對接大模型的核心價值：通過本地理解與智能聯(lián)動，讓運(yùn)動場景下的交互變得更自然、更實(shí)時，也更具個性化。

IMU 實(shí)時感知訓(xùn)練狀態(tài)

04

AI 互動玩具

動作感知與意圖理解的能力，同樣可以賦能互動玩具，讓原本靜態(tài)的產(chǎn)品具備實(shí)時感知與智能回應(yīng)能力。例如，當(dāng)玩具靜置于沙發(fā)上時，用戶坐下或放置物品產(chǎn)生的輕微震動會被內(nèi)置 IMU 捕捉，它可以立即做出回應(yīng)；撫摸玩具時，大模型結(jié)合動作強(qiáng)度生成個性化的反饋；當(dāng)玩具被抱起時，設(shè)備進(jìn)一步推斷動作意圖，驅(qū)動多維反饋與環(huán)境協(xié)同，實(shí)現(xiàn)“感知—理解—回應(yīng)”的完整閉環(huán)。

姿態(tài)識別 + AI 玩具，解鎖更多玩法

05

本地訓(xùn)練

ESP32-C5 還能把“互動”延伸到用戶自定義層面。通過 IMU，設(shè)備不僅支持預(yù)置動作識別，也可采集用戶特定的手勢作為訓(xùn)練樣本，并通過 microTensorFlow 進(jìn)行小模型訓(xùn)練，直接部署在 ESP32-C5 本地。

設(shè)備可實(shí)時識別用戶的自定義動作，去觸發(fā)特定的控制與聯(lián)動。任意動作都可以被用戶重新定義成“指令語言”。這種從“動作被讀取”到“動作被定義”的能力，讓基于 ESP32-C5 的設(shè)備具備更高的可塑性，解鎖更豐富的創(chuàng)意交互場景。

訓(xùn)練專屬動作識別模型，部署并運(yùn)行在 ESP32-C5 本地

量產(chǎn)&開源硬件方案

量產(chǎn)在售硬件

ESP-SensairShuttle

ESP-SensairShuttle面向教育與大規(guī)模開發(fā)評估，采用模塊化傳感器架構(gòu)，支持環(huán)境、動作、磁力等多類型感知組合，便于教學(xué)、算法評估和多場景實(shí)驗(yàn)。主板基于 ESP32-C5，搭配可替換的 Shuttle 傳感器子板與顯示屏自由擴(kuò)展功能，支持環(huán)境、動作、磁力等多類型傳感組合。

平臺內(nèi)置開箱即用的固件，可直接查看傳感器數(shù)據(jù)或運(yùn)行博世提供的傳感器算法；也可以基于 ESP-IDF 完成深度定制。無論是空氣質(zhì)量監(jiān)測、手勢識別，還是方向與磁力感知，Shuttle 都提供標(biāo)準(zhǔn)化接口與即插即用的硬件資源，是教學(xué)、研發(fā)與產(chǎn)品原型驗(yàn)證的理想平臺。

ESP-SensairShuttle 現(xiàn)已開放預(yù)售！如果您對該產(chǎn)品感興趣，歡迎聯(lián)系我們的客戶支持團(tuán)隊(duì)，獲取更多產(chǎn)品信息。

開源硬件

ESP-SPOT

ESP-Spot面向開發(fā)者和創(chuàng)客，可快速驗(yàn)證動作感知與智能交互邏輯，開箱即可跑通揮手、旋轉(zhuǎn)、AI 玩具等交互案例。主控采用 ESP32-C5，配合博世 BMI270 IMU，實(shí)現(xiàn)低功耗動作捕捉與即觸即醒的交互能力。

項(xiàng)目提供完整的硬件設(shè)計(jì)、固件源碼與使用文檔，開發(fā)者無需從零搭建系統(tǒng)，就能基于現(xiàn)成平臺快速實(shí)現(xiàn)揮手開燈、旋轉(zhuǎn)調(diào)節(jié)、AI 玩具互動等多種場景。對于想要構(gòu)建中控設(shè)備、AI 玩具或教學(xué)項(xiàng)目的開發(fā)者來說，ESP-Spot 是一套可立即上手的成品級基礎(chǔ)平臺。