隨著機器人技術(shù)從“預(yù)設(shè)程序執(zhí)行”向“具身智能交互”發(fā)展，機器人與環(huán)境的物理交互能力成為制約其自主性與適應(yīng)性的關(guān)鍵瓶頸。觸覺感知作為機器人理解物體屬性、實現(xiàn)精細(xì)操作、保障人機安全的核心傳感方式，其重要性日益凸顯。然而，當(dāng)前機器人的觸覺系統(tǒng)在感知維度、分辨率和信號理解能力上仍遠(yuǎn)遜于人類，難以支撐復(fù)雜、動態(tài)的真實場景任務(wù)。 近日，清華大學(xué)深圳國際研究生院丁文伯團隊聯(lián)合多所研究機構(gòu)，從鴿子卓越的多光譜視覺與非成像感知機制中汲取靈感，提出一種仿生多模態(tài)觸覺傳感器（SuperTac），將多光譜成像、摩擦電傳感與慣性測量融為一體，并通過構(gòu)建觸覺語言模型（DOVE）實現(xiàn)觸覺信號的理解與推理，旨在推動機器人觸覺感知向“人類水平”邁進(jìn)，為智能制造、醫(yī)療輔助與服務(wù)機器人等領(lǐng)域提供新一代觸覺解決方案。相關(guān)成果發(fā)表在Nature Sensors第一期上，也是國內(nèi)機構(gòu)首次以第一單位發(fā)表在該期刊上的文章。

圖1Nature Sensors封面圖，SuperTac在封面上展示（右下角）

01

研究背景

在觸覺傳感技術(shù)領(lǐng)域，現(xiàn)有主流方案主要包括電子皮膚與視觸覺傳感器兩類，但均存在顯著不足：

電子皮膚傳感器雖能通過多功能材料實現(xiàn)多模態(tài)感知，但提升空間分辨率需依賴密集電極陣列，易導(dǎo)致信號串?dāng)_、系統(tǒng)復(fù)雜、穩(wěn)定性下降，難以兼顧高分辨率與多模態(tài)融合;

視觸覺傳感器通過光學(xué)成像實現(xiàn)亞毫米級分辨率，易于與計算機視覺模型結(jié)合，但其感知譜段通常局限于可見光，缺乏對溫度、材質(zhì)、接近感等非成像模態(tài)的融合能力，限制了其在多物理場環(huán)境中的全面感知;

當(dāng)前觸覺系統(tǒng)普遍面臨觸覺信號解讀能力薄弱的問題，缺乏能夠融合多模態(tài)觸覺信息并進(jìn)行語義推理的智能模型，導(dǎo)致機器人“有感無知”，難以實現(xiàn)類人的觸覺認(rèn)知與交互決策。

02

研究貢獻(xiàn)

本研究構(gòu)建的多模態(tài)觸覺傳感系統(tǒng)包含三大核心組件：仿生多模態(tài)觸覺傳感器（SuperTac）、數(shù)據(jù)處理與特征提取模塊、以及觸覺語言模型理解推理層（DOVE）。系統(tǒng)架構(gòu)采用分層設(shè)計，實現(xiàn)了從物理信號采集到語義理解的全流程閉環(huán)處理。系統(tǒng)的具體工作流程如下：

物理信號感知層：SuperTac通過多層感知皮膚同步采集多光譜視覺、摩擦電和慣性測量信號；

數(shù)據(jù)融合處理層：基于深度學(xué)習(xí)網(wǎng)絡(luò)對原始信號進(jìn)行特征提取和模態(tài)融合；

語義理解推理層：DOVE模型將多模態(tài)特征映射到語義空間，實現(xiàn)觸覺信息的自然語言描述與推理；

應(yīng)用交互層：集成至機器人系統(tǒng)，支持抓取、識別、人機交互等實際任務(wù)這一架構(gòu)的核心創(chuàng)新在于實現(xiàn)了物理傳感-特征提取-語義理解的端到端一體化設(shè)計，將傳統(tǒng)分離的傳感與解讀過程有機融合，為機器人提供了類人的觸覺感知與認(rèn)知能力。

03

生物靈感來源

受到鴿子卓越視覺系統(tǒng)的啟發(fā)，本工作的設(shè)計借鑒了其視網(wǎng)膜中多類型視錐細(xì)胞的分工機制，特別是紫外敏感細(xì)胞，以拓展傳感器的光譜感知范圍。同時，模擬了鴿子視網(wǎng)膜中用于磁場感知的特殊分子機制，將非成像感知能力遷移至觸覺傳感領(lǐng)域，從而突破傳統(tǒng)視覺傳感的局限。

效仿生物神經(jīng)系統(tǒng)對多感官信息并行處理與協(xié)同融合的原理，構(gòu)建了多模態(tài)傳感物理系統(tǒng)：通過紫外波段實現(xiàn)標(biāo)記點追蹤與滑動識別；可見光波段用于顏色與環(huán)境視覺感知；近紅外波段專攻紋理與接觸力分布檢測；中紅外波段負(fù)責(zé)溫度場測量。

結(jié)合基于PEDOT:PSS透明導(dǎo)電層設(shè)計的摩擦電傳感模塊，通過接觸靜電荷差異識別材質(zhì)并實現(xiàn)接近感知；集成MPU6050慣性測量單元實時采集三維姿態(tài)與加速度數(shù)據(jù)，支持碰撞檢測與振動分析；最終通過氣壓可調(diào)的硅膠充氣支撐結(jié)構(gòu)構(gòu)成自適應(yīng)感知皮膚，動態(tài)調(diào)節(jié)0-7N力感知范圍，實現(xiàn)對復(fù)雜曲面的高保真輪廓重建。

圖2 生物啟發(fā)原理及其應(yīng)用場景

04

設(shè)計與測試

·感知皮膚設(shè)計

感知皮膚采用總厚度僅1mm的四層薄膜堆疊結(jié)構(gòu)：導(dǎo)電層由PEDOT:PSS/TPU復(fù)合薄膜構(gòu)成，通過渦旋線電極設(shè)計實現(xiàn)均勻信號分布，兼具高透明度與良好導(dǎo)電性；熒光層采用紫外熒光油墨，可在紫外光下顯影、近紅外下透明，實現(xiàn)工作模式切換與標(biāo)記追蹤；反射層為銀粉/硅膠復(fù)合材料，具備單向鏡效應(yīng)，能通過光強控制實現(xiàn)不同波段的透明/不透明切換；支撐層采用氣壓可調(diào)的硅膠充氣薄膜，不僅提供機械支撐，更具備優(yōu)于傳統(tǒng)亞克力的中紅外透過性。

基于反射層的光控透明特性，系統(tǒng)實現(xiàn)智能工作模式切換：觸覺模式下內(nèi)部光源開啟，薄膜呈不透明狀態(tài)，實現(xiàn)表面紋理和力的精確檢測；視覺模式下內(nèi)部光源關(guān)閉，薄膜轉(zhuǎn)為透明狀態(tài)，允許外部環(huán)境光的直接觀測，形成獨特的光場調(diào)制機制。

圖3 內(nèi)部結(jié)構(gòu)及功能表征

·數(shù)據(jù)處理與特征提取算法

在數(shù)據(jù)處理與特征提取算法中，力與位置感知采用基于U-Net的編碼器-解碼器架構(gòu)，以ResNet-48作為編碼器，輸入128×128 RGB變形圖像并輸出三維力分布圖與位置坐標(biāo)；經(jīng)過86,440組涵蓋48種探針形態(tài)的接觸數(shù)據(jù)訓(xùn)練，系統(tǒng)達(dá)到位置檢測均方誤差0.056mm、力檢測均方誤差0.0004N的精度。針對多模態(tài)分類任務(wù)，算法采用專門化網(wǎng)絡(luò)設(shè)計：紋理識別（ResNet-18 + MLP，NIR圖像，98%準(zhǔn)確率）、材質(zhì)分類（信號處理+MLP，摩擦電信號，95%準(zhǔn)確率）、顏色識別（ResNet-18 + MLP，RGB圖像，100%準(zhǔn)確率）、滑動檢測（LSTM網(wǎng)絡(luò)，紫外標(biāo)記序列，97%準(zhǔn)確率）及碰撞檢測（LSTM網(wǎng)絡(luò)，IMU時序信號，94%準(zhǔn)確率）。在三維重建與輪廓感知方面，基于紫外熒光標(biāo)記的位移分析算法實現(xiàn)變形重建，平均均方根誤差0.0892、平均絕對誤差0.0375，輪廓保真度可識別0.07mm細(xì)發(fā)并實現(xiàn)100%盲文字符識別準(zhǔn)確率。

·觸覺語言模型設(shè)計與實現(xiàn)

DOVE觸覺語言模型采用基于預(yù)訓(xùn)練視覺-語言模型的架構(gòu)，總參數(shù)量達(dá)8.6B。模型通過投影層實現(xiàn)觸覺特征到語義空間的嵌入對齊，能夠融合觸覺、溫度、顏色和材質(zhì)等多模態(tài)信息進(jìn)行聯(lián)合推理。

訓(xùn)練過程采用三階段策略：第一階段使用CLIP模型提取圖像特征并附加MLP分類器進(jìn)行編碼器預(yù)訓(xùn)練；第二階段移除分類器并添加投影層，實現(xiàn)多模態(tài)特征表示的嵌入對齊；第三階段采用LoRA方法對投影層和語言網(wǎng)絡(luò)（Vicuna）進(jìn)行高效微調(diào)。數(shù)據(jù)集構(gòu)建方面，系統(tǒng)采集了6種顏色、3種溫度、10種材質(zhì)和6種紋理的完整組合物理數(shù)據(jù)，同時基于GPT-4和規(guī)則腳本生成了30,000組觸覺語言問答對，并構(gòu)建了包含1,000個新樣本的獨立評估集用于模型性能驗證。

圖4觸覺感知模型及應(yīng)用實驗

·性能評估及實驗

系統(tǒng)性能通過多層次實驗體系進(jìn)行全面驗證：在基礎(chǔ)傳感性能測試中，對力、位置、溫度、振動等物理量進(jìn)行精度標(biāo)定；通過分類任務(wù)評估驗證紋理、材質(zhì)、顏色等屬性的識別準(zhǔn)確率；開展80,000次接觸循環(huán)的耐久性測試，分析長期使用下的信號穩(wěn)定性；在實際應(yīng)用驗證階段，于機器人抓取、物體識別、人機交互等真實場景中測試系統(tǒng)可靠性；同時進(jìn)行對比實驗，與傳統(tǒng)GelSight等傳感器在輪廓感知、紋理識別等關(guān)鍵性能指標(biāo)上進(jìn)行系統(tǒng)化比較。

來源：生物傳感器