Espressif × Bosch Sensortec

樂鑫科技 (688018.SH) 宣布與 Bosch Sensortec（博世傳感器）達成合作，共同推出基于動作感知與大模型能力的人機交互創(chuàng)新方案。

該方案旨在推動多模態(tài)感知與智能交互技術的深度融合，覆蓋 AI 玩具、智能家居、運動健康、智慧辦公等典型應用場景，實現(xiàn)從環(huán)境感知、行為理解到智能反饋的完整鏈路升級，為新一代智能終端提供更自然、更實時的交互體驗。

在合作簽約儀式上，樂鑫創(chuàng)始人兼 CEO 張瑞安、Bosch Sensortec 總經(jīng)理兼首席執(zhí)行官 Stefan Finkbeiner 以及 Bosch Sensortec 亞太區(qū)總裁王宏宇等共同出席，正式宣布雙方合作的啟動。

合作簽約儀式在樂鑫科技上?？偛颗e行

張瑞安在儀式上表示：“通過將 Bosch Sensortec 經(jīng)驗證的高性能 MEMS 傳感器集成到我們的平臺中，我們能夠幫助客戶為幾乎任何應用場景構建穩(wěn)健、精準的傳感解決方案，并在基礎層面保證卓越品質?！?/p>

Stefan Finkbeiner 隨后補充道：“通過與樂鑫科技的合作，我們正在讓先進的傳感技術更易于獲取和使用。樂鑫在生態(tài)體系建設方面給予的支持，對推動傳感器在各類消費應用中的廣泛采用，以及塑造下一代物聯(lián)網(wǎng)解決方案具有重要價值?！?/p>

樂鑫科技創(chuàng)始 CEO 張瑞安與 Bosch Sensortec 總經(jīng)理兼首席執(zhí)行官 Stefan Finkbeiner 共同見證合作達成

核心技術亮點

在此次聯(lián)合方案中，博世提供多類型高性能 MEMS 傳感器及算法優(yōu)化能力，用于精準獲取微動作、姿態(tài)與環(huán)境變化等多維數(shù)據(jù)；樂鑫以雙頻 Wi-Fi 6 物聯(lián)網(wǎng)芯片ESP32-C5作為核心主控，通過穩(wěn)定的無線連接、實時的數(shù)據(jù)處理能力以及對 MCP 協(xié)議的原生支持，實現(xiàn)感知數(shù)據(jù)的本地解析與大模型聯(lián)動，使系統(tǒng)在端側具備即時理解與響應能力。

這一方案不僅融合了雙方的核心技術能力，也在系統(tǒng)架構、數(shù)據(jù)鏈路與交互體驗層面進行了深度協(xié)同。無論是動作識別、場景感知，還是智能響應，均經(jīng)過體系化整合，使設備能夠更準確地理解用戶意圖。同時，該方案提供標準化的軟硬件基礎能力，大幅降低開發(fā)與驗證的復雜度，縮短創(chuàng)新產(chǎn)品的落地周期，助力開發(fā)者更高效地構建下一代智能應用。

樂鑫攜手 Bosch Sensortec（博世傳感器）

聯(lián)合推出 AI 智能交互方案

從感知到應用場景

搭載 ESP32-C5 與BMI270 傳感器的系統(tǒng)，不僅能捕捉手勢與姿態(tài)變化，還能結合大模型與 MCP 滿足更深層次的用戶需求。BMI270 內置算法，可獨立完成畫圈、搖晃、單擊、多擊、旋轉角度等手勢動作識別；即使主控處于低功耗休眠，BMI270 也能持續(xù)感知環(huán)境，并在檢測到動作時即時喚醒系統(tǒng)，實現(xiàn)快速響應。

01

智能家居

樂鑫將同步推出 Home Assistant 的原生插件以及對應的 ESP32-C5 開源固件，可以將設備快速綁定在 Home Assistant 開源智能家居平臺。通過該插件，設備能夠被自動發(fā)現(xiàn)，并實現(xiàn)傳感器數(shù)據(jù)上報與行為控制。所有狀態(tài)、動作都統(tǒng)一接入 Home Assistant 的自動化體系，使設備不再局限于單一用途：它既可以作為門窗傳感器參與場景聯(lián)動，也可以成為無線調光器控制照明，甚至能夠充當語音中控，輕松接入整個智能家居系統(tǒng)。

在光環(huán)境調節(jié)場景中，用戶無需尋找開關，只需輕輕轉腕或敲擊桌面，傳感器即可完成動作識別；ESP32-C5 隨即解析用戶意圖，通過 MCP 調度 Home Assistant 的設備與服務，自動調整燈光亮度與色溫，讓空間自然貼合用戶需求。

通過樂鑫官方 HA 插件快速接入智能家居平臺

02

辦公助手

除了家居場景，ESP32-C5 接入 MCP 的能力同樣讓辦公環(huán)境更智能、更貼心。設備可放置在桌面，持續(xù)感知敲擊與手勢等微動作，并在本地快速解析用戶意圖 ，通過 MCP 將這些動作直接轉化為對各類智能設備與服務的調度——例如規(guī)劃行程，會議提醒，或提前準備會議所需的設備或應用等。

無論是語音指令，還是動作觸發(fā)的提醒，ESP32-C5 都能即時解析，并由 MCP 直接驅動關聯(lián)設備和服務，在不打斷工作節(jié)奏的前提下提升專注與效率。

結合 MCP，讓交互更自然、更貼近用戶

03

運動感知

在運動場景中，設備能夠借助 IMU 在本地完成精準的動作計數(shù)與姿態(tài)判斷。當用戶完成一組訓練時，大模型能夠根據(jù)當前訓練狀態(tài)給出反饋或姿態(tài)建議，并生成后續(xù)訓練計劃。通過語音、燈光等多模態(tài)方式自然呈現(xiàn)，使設備從單純的計數(shù)器升級為理解訓練節(jié)奏的智能伙伴。

這種結合不僅展示了動作感知的精準，更凸顯了 ESP32-C5 對接大模型的核心價值：通過本地理解與智能聯(lián)動，讓運動場景下的交互變得更自然、更實時，也更具個性化。

IMU 實時感知訓練狀態(tài)

04

AI 互動玩具

動作感知與意圖理解的能力，同樣可以賦能互動玩具，讓原本靜態(tài)的產(chǎn)品具備實時感知與智能回應能力。例如，當玩具靜置于沙發(fā)上時，用戶坐下或放置物品產(chǎn)生的輕微震動會被內置 IMU 捕捉，它可以立即做出回應；撫摸玩具時，大模型結合動作強度生成個性化的反饋；當玩具被抱起時，設備進一步推斷動作意圖，驅動多維反饋與環(huán)境協(xié)同，實現(xiàn)“感知—理解—回應”的完整閉環(huán)。

姿態(tài)識別 + AI 玩具，解鎖更多玩法

05

本地訓練

ESP32-C5 還能把“互動”延伸到用戶自定義層面。通過 IMU，設備不僅支持預置動作識別，也可采集用戶特定的手勢作為訓練樣本，并通過 microTensorFlow 進行小模型訓練，直接部署在 ESP32-C5 本地。

設備可實時識別用戶的自定義動作，去觸發(fā)特定的控制與聯(lián)動。任意動作都可以被用戶重新定義成“指令語言”。這種從“動作被讀取”到“動作被定義”的能力，讓基于 ESP32-C5 的設備具備更高的可塑性，解鎖更豐富的創(chuàng)意交互場景。

訓練專屬動作識別模型，部署并運行在 ESP32-C5 本地

量產(chǎn)&開源硬件方案

量產(chǎn)在售硬件

ESP-SensairShuttle

ESP-SensairShuttle面向教育與大規(guī)模開發(fā)評估，采用模塊化傳感器架構，支持環(huán)境、動作、磁力等多類型感知組合，便于教學、算法評估和多場景實驗。主板基于 ESP32-C5，搭配可替換的 Shuttle 傳感器子板與顯示屏自由擴展功能，支持環(huán)境、動作、磁力等多類型傳感組合。

平臺內置開箱即用的固件，可直接查看傳感器數(shù)據(jù)或運行博世提供的傳感器算法；也可以基于 ESP-IDF 完成深度定制。無論是空氣質量監(jiān)測、手勢識別，還是方向與磁力感知，Shuttle 都提供標準化接口與即插即用的硬件資源，是教學、研發(fā)與產(chǎn)品原型驗證的理想平臺。

ESP-SensairShuttle 現(xiàn)已開放預售！如果您對該產(chǎn)品感興趣，歡迎聯(lián)系我們的客戶支持團隊，獲取更多產(chǎn)品信息。

開源硬件

ESP-SPOT

ESP-Spot面向開發(fā)者和創(chuàng)客，可快速驗證動作感知與智能交互邏輯，開箱即可跑通揮手、旋轉、AI 玩具等交互案例。主控采用 ESP32-C5，配合博世 BMI270 IMU，實現(xiàn)低功耗動作捕捉與即觸即醒的交互能力。

項目提供完整的硬件設計、固件源碼與使用文檔，開發(fā)者無需從零搭建系統(tǒng)，就能基于現(xiàn)成平臺快速實現(xiàn)揮手開燈、旋轉調節(jié)、AI 玩具互動等多種場景。對于想要構建中控設備、AI 玩具或教學項目的開發(fā)者來說，ESP-Spot 是一套可立即上手的成品級基礎平臺。