背景介紹

人體會(huì)產(chǎn)生豐富的生物信號(hào)，這些信號(hào)可以被人體檢測(cè)、數(shù)字化、分析并與外界設(shè)備交互。其中，人類的語(yǔ)音尤其具有豐富的時(shí)域、頻域和幅度信息傳輸能力。這種豐富的信息承載能力使聲音成為生物通信、人機(jī)交互（HMI）和物聯(lián)網(wǎng)（IoT）應(yīng)用（包括智能家居、遠(yuǎn)程控制、身份識(shí)別和語(yǔ)音系統(tǒng)）的重要組成部分。然而，基于空氣振動(dòng)的語(yǔ)音通信容易受到背景噪聲（如路邊、商場(chǎng)、車站等嘈雜環(huán)境）和聲學(xué)介質(zhì)（如火災(zāi)、醫(yī)院、水下等特殊場(chǎng)景）的干擾和阻礙。此外，發(fā)聲過(guò)程依賴于器官的協(xié)調(diào)系統(tǒng)，任何因肌萎縮側(cè)索硬化癥（ALS）、中風(fēng)、帕金森病或喉癌等疾病引起的損傷都會(huì)嚴(yán)重影響語(yǔ)音清晰度和識(shí)別效率。為了應(yīng)對(duì)這些挑戰(zhàn)，研究人員開(kāi)發(fā)了先進(jìn)的降噪算法和多麥克風(fēng)系統(tǒng)來(lái)增強(qiáng)語(yǔ)音處理能力。然而，這些解決方案的有效性受到聲音信號(hào)質(zhì)量和多特征參數(shù)復(fù)雜性的限制。例如，單麥克風(fēng)系統(tǒng)無(wú)法捕捉空間特征，難以提供高信噪比的音頻信號(hào)。雖然多麥克風(fēng)系統(tǒng)和相關(guān)算法可以改善語(yǔ)音信號(hào)處理，但它們需要復(fù)雜的工程設(shè)計(jì)并占用更多空間。

最近，基于面部和嘴唇運(yùn)動(dòng)的視覺(jué)語(yǔ)音識(shí)別已成為一種在嘈雜環(huán)境中增強(qiáng)語(yǔ)音感知的方法。雖然這種方法可以在具有挑戰(zhàn)性的聲學(xué)條件下提高語(yǔ)音感知質(zhì)量，但它需要額外的攝像頭，這增加了系統(tǒng)的復(fù)雜性并降低了實(shí)用性。近年來(lái)，直接監(jiān)測(cè)面部運(yùn)動(dòng)狀態(tài)的可連接傳感器作為無(wú)聲語(yǔ)音識(shí)別的解決方案引起了人們的關(guān)注。雖然面部特征可以在一定程度上補(bǔ)充音頻信號(hào)，但它們?cè)诓蹲揭舾?、音色和聲音?qiáng)度等聲學(xué)參數(shù)方面存在很大的局限性。相反，將傳感器直接放置在發(fā)聲器官區(qū)域是一種實(shí)現(xiàn)全面聲音信息收集的有效方法。用于監(jiān)測(cè)聲音信號(hào)的傳統(tǒng)可穿戴設(shè)備通常使用綁帶或粘性貼片附著在身體上。然而，它們的剛性和扁平形狀限制了實(shí)際應(yīng)用。柔性材料和傳感技術(shù)的發(fā)展為隱形皮膚可穿戴設(shè)備鋪平了道路。目前，安裝在發(fā)聲器官中的柔性傳感技術(shù)主要包括石墨烯、柔性表面肌電圖電極、壓阻和摩擦電。與傳統(tǒng)的剛性麥克風(fēng)相比，這些技術(shù)佩戴更舒適，可以無(wú)縫融入日常活動(dòng)中。盡管這些傳感器有諸多優(yōu)勢(shì)，但它們通常依賴于有線硬件，限制了它們?cè)谌粘Ｊ褂弥械倪m應(yīng)性。

為了克服這些挑戰(zhàn)，集成信號(hào)處理和傳輸單元的柔性可穿戴設(shè)備對(duì)于充分利用各種機(jī)電特性的潛力至關(guān)重要。微機(jī)電系統(tǒng) (MEMS) 制造技術(shù)的進(jìn)步為改善可穿戴設(shè)備的集成帶來(lái)了希望。一項(xiàng)值得注意的創(chuàng)新是將商用 MEMS 加速度計(jì)芯片整合到可穿戴設(shè)備中，從而能夠連續(xù)監(jiān)測(cè)機(jī)械聲音信號(hào)，例如語(yǔ)音、吞咽、呼吸和心臟運(yùn)動(dòng)。然而，目前的傳感器無(wú)法滿足寬頻帶范圍和平坦度的要求，限制了信號(hào)頻譜的能量分布。此外，檢測(cè)皮膚加速度只能提供肌肉運(yùn)動(dòng)模式數(shù)據(jù)，而忽略了發(fā)聲器官的關(guān)鍵振動(dòng)信息。由于缺乏生物特征信息，在監(jiān)測(cè)小幅度肌肉運(yùn)動(dòng)時(shí)，機(jī)械聲音信號(hào)相對(duì)較弱。這種限制對(duì)于皮膚組織較厚（例如甲狀腺腫大）或喉部受傷的用戶尤其不友好。因此，有必要開(kāi)發(fā)一種新的便攜式語(yǔ)音交互系統(tǒng)來(lái)解決這些問(wèn)題并提高用戶體驗(yàn)和HMI。

本文亮點(diǎn)

1. 本工作提出了一種可穿戴無(wú)線柔性貼膚聲學(xué)傳感器（SAAS），能夠捕捉發(fā)聲器官的振動(dòng)和皮膚運(yùn)動(dòng)，從而實(shí)現(xiàn)惡劣聲學(xué)環(huán)境下的語(yǔ)音識(shí)別和人機(jī)交互（HMI）。

2. 該系統(tǒng)采用壓電微機(jī)械超聲換能器（PMUT），具有高靈敏度（-198 dB）、寬帶寬（10 Hz-20 kHz）和優(yōu)異的平坦度（±0.5 dB）等特點(diǎn)。柔性封裝提高了佩戴時(shí)的舒適性和適應(yīng)性，同時(shí)與殘差網(wǎng)絡(luò)（ResNet）架構(gòu)的集成顯著提高了喉部語(yǔ)音特征的分類，準(zhǔn)確率超過(guò) 96%。

3. 在多個(gè) HMI 場(chǎng)景中展示了 SAAS 的數(shù)據(jù)收集和智能分類能力。語(yǔ)音識(shí)別系統(tǒng)能夠通過(guò)深度學(xué)習(xí)模型以 99.8% 的準(zhǔn)確率識(shí)別參與者所說(shuō)的日常句子。

圖文解析

圖1. 用于惡劣聲學(xué)環(huán)境下語(yǔ)音識(shí)別的無(wú)線、柔性、可附著式聲學(xué)傳感器。

a 實(shí)現(xiàn)HMI的語(yǔ)音識(shí)別系統(tǒng)示意圖。b 可附著式聲學(xué)傳感系統(tǒng)爆炸圖。c PMUT結(jié)構(gòu)示意圖。d 處理發(fā)聲器官振動(dòng)和肌肉運(yùn)動(dòng)信號(hào)的步驟流程圖，包括信號(hào)處理、控制、無(wú)線通信和顯示終端。e SAAS在語(yǔ)音識(shí)別與交互中的應(yīng)用示意圖。

圖2. 裝置設(shè)計(jì)原理及特性描述。

a 基于SOI晶片的聲學(xué)傳感器三維結(jié)構(gòu)剖面圖。b PZT、AlN、ScAlN及對(duì)應(yīng)三種形狀的聲學(xué)傳感器相關(guān)參數(shù)的有限元仿真對(duì)比。c PMUT正面（I）和背面（II）的照片。d 制備的聲學(xué)芯片的光學(xué)顯微鏡圖像和微元件的特寫細(xì)節(jié)。e 制備的聲學(xué)芯片的Mo/ScAlN/Mo薄膜結(jié)構(gòu)的SEM剖面圖。f 空氣中MEMS芯片的電阻抗幅值與相位的諧振頻率響應(yīng)。g 水中封裝后的MEMS傳感器在低頻寬帶范圍內(nèi)的靈敏度測(cè)試曲線。h 柔性器件在未變形（I）、扭曲（II）、彎曲（III）和拉伸（IV）下的圖像顯示。

圖3. 惡劣聲學(xué)環(huán)境下的語(yǔ)音檢測(cè)對(duì)比實(shí)驗(yàn)。

a 安靜環(huán)境（I）、嘈雜環(huán)境（II）和戴口罩（III）下同一項(xiàng)對(duì)比測(cè)試的照片。b 當(dāng)受試者在安靜環(huán)境（I）、嘈雜環(huán)境（II）和戴口罩（III）下說(shuō)“CQU”時(shí)，SAAS顯示聲音信號(hào)的時(shí)域波形和頻譜信息。c 當(dāng)受試者在安靜環(huán)境（I）、嘈雜環(huán)境（II）和戴口罩（III）下說(shuō)“CQU”時(shí)，商用參考麥克風(fēng)顯示聲音信號(hào)的時(shí)域波形和頻譜信息。d 受試者在9種喉部附著位置和動(dòng)作下的照片。e 通過(guò) SAAS 在 9 個(gè)喉嚨附著位置和動(dòng)作中說(shuō)“完美”時(shí)獲得的時(shí)域波形。

圖4. 基于SAAS的身份識(shí)別演示。

a–c音素、聲調(diào)、同音詞分類任務(wù)的混淆矩陣。d通過(guò)數(shù)據(jù)采集、深度學(xué)習(xí)和實(shí)時(shí)顯示實(shí)現(xiàn)的身份識(shí)別系統(tǒng)示意圖。e不同參與者說(shuō)“hello world”時(shí)的聲音信息。f身份識(shí)別的混淆矩陣。

圖5. 使用SAAS控制虛擬游戲和機(jī)器狗。

a實(shí)時(shí)無(wú)線HMI控制系統(tǒng)示意圖。b吃豆人游戲中語(yǔ)音指令上下左右命令演示。c遠(yuǎn)程無(wú)線控制機(jī)器狗通過(guò)語(yǔ)音命令執(zhí)行動(dòng)作：“站起來(lái)”、“跳舞”、“側(cè)翻”、“爬樓梯”。

圖6. 基于SAAS的語(yǔ)音識(shí)別系統(tǒng)在人機(jī)交互中的應(yīng)用。

a通過(guò)數(shù)據(jù)處理、分類和實(shí)時(shí)顯示實(shí)現(xiàn)的交互系統(tǒng)示意圖。b 使用卷積神經(jīng)網(wǎng)絡(luò)從參與者的日常對(duì)話中收集到的 10 個(gè)句子樣本的波形和相應(yīng)的頻譜圖。c 句子識(shí)別任務(wù)的混淆矩陣。d 60 個(gè) epoch 迭代過(guò)程中訓(xùn)練和測(cè)試數(shù)據(jù)的歸一化準(zhǔn)確率。e 經(jīng)過(guò) 60 次 T-SNE 算法迭代處理后的特征向量矩陣。f 經(jīng)過(guò) 60 次 T-SNE 算法迭代處理后的特征向量矩陣。

來(lái)源：柔性傳感及器件