“Hey NXP”、”哈啰恩智浦”……一聲又一聲的問(wèn)候在寧?kù)o的辦公室里格外惹人注目，原來(lái)是恩智浦公司又一嘔心瀝血的得意新作——智能語(yǔ)音技術(shù)（VIT）。

智能語(yǔ)音技術(shù)（Voice Intelligent Technology – VIT）基于最先進(jìn)的深度學(xué)習(xí)和語(yǔ)音識(shí)別技術(shù)，是一款完整的喚醒詞/語(yǔ)音命令解決方案。

VIT在MCUXpresso SDK中支持的恩智浦設(shè)備上免費(fèi)提供，目前已經(jīng)可以支持英語(yǔ)，而中文、土耳其語(yǔ)、西班牙語(yǔ)等其他語(yǔ)言也正如火如荼地開(kāi)發(fā)測(cè)試當(dāng)中。

VIT功能包括

喚醒詞引擎(Wake Word Engine - WWE)：它使用了訓(xùn)練所需要并且已記錄的觸發(fā)詞文件。

在訓(xùn)練階段使用數(shù)據(jù)增強(qiáng)技術(shù)來(lái)整合數(shù)據(jù)集中的可變性。

利用神經(jīng)網(wǎng)絡(luò)分類(lèi)器來(lái)確定提取的音素序列是否與目標(biāo)關(guān)鍵字對(duì)應(yīng)。

不需要音頻數(shù)據(jù)集的語(yǔ)音命令引擎(Voice Commands Engine - VCE)。

目標(biāo)語(yǔ)音命令在脫機(jī)過(guò)程中被轉(zhuǎn)換為單詞符號(hào)序列，VCE在運(yùn)行時(shí)確定提取的音素序列是否對(duì)應(yīng)于特定的單詞符號(hào)序列以及命令。

一個(gè)模型可以支持從大量詞匯當(dāng)中所挑選的30個(gè)語(yǔ)音命令。

簡(jiǎn)而言之VIT可以

通過(guò)Text2Model工具創(chuàng)建的自定義命令

自定義觸發(fā)字選項(xiàng)

低延遲檢測(cè)(<200ms)

VIT現(xiàn)已經(jīng)支持的平臺(tái)有

i.MX RT600系列：Cortex-M33內(nèi)核，HiFi4 DSP協(xié)處理器，評(píng)估板為MIMXRT685-EVK

i.MX RT1060系列：Cortex-M7內(nèi)核，評(píng)估板為MIMXRT1060-EVK

VIT可以利用語(yǔ)音服務(wù)來(lái)喚醒并控制物聯(lián)網(wǎng)裝置或家用設(shè)備。目前的VIT版本可以支持喚醒詞以及利用Text2Model工具所產(chǎn)生的語(yǔ)音命令，如下圖所示↓↓↓

喚醒詞模型是從關(guān)鍵詞檔案數(shù)據(jù)庫(kù)所創(chuàng)建，而語(yǔ)音命令模型則是由Text2Model工具所產(chǎn)生。目前SDK中所內(nèi)建的VIT函式庫(kù)可以偵測(cè) “Hey NXP” 關(guān)鍵詞以及12個(gè)在VIT_Voice_Commands.h當(dāng)中所預(yù)設(shè)的語(yǔ)音命令。

這次VIT的發(fā)布包含了以下的部分：

Lib/libVIT_PLATFORM_VERSION.a :平臺(tái)可以選HIFI4或Cortex-M7

Lib/VIT.h :描述VIT公用的API庫(kù)

Lib/VIT_Model.h :VIT模型檔案包含了喚醒詞和語(yǔ)音命令的描述

VIT_Voice_Commands.h :列舉VIT函式庫(kù)所支持的語(yǔ)音命令

Lib/Inc :涵蓋VIT公用接口定義的文件夾

ExApp/VIT_ExApp.c :VIT范例

VIT提供豐富API以供使用者操作：

VIT_SetModel：儲(chǔ)存VIT模塊的地址，并確認(rèn)此模塊是否能被VIT函式庫(kù)所支持

VIT_GetMemoryTable：通知軟件應(yīng)用程序VIT函式所需要的內(nèi)存。共定義四種不同的內(nèi)存區(qū)塊，F(xiàn)ast data / Slow data / fast coefficient /Temporary or scratch

VIT_GetInstanceHandle：設(shè)置并初始化VIT，所有的內(nèi)存都被映像到子模塊所需的緩沖區(qū)

VIT_SetControlParameters：設(shè)置或修改VIT的控制參數(shù)

VIT_Process：分析音頻以辨識(shí)是喚醒詞或語(yǔ)音命令

VIT_GetVoiceCommandFound：VIT讀取命令編號(hào)與名稱(chēng)

VIT_GetModelInfo：輔助API，用來(lái)取得VIT模塊的訊息

VIT_ResetInstance：輔助API，用來(lái)重置VIT模塊

VIT_GetControlParameters：輔助API，用來(lái)取得VIT的控制參數(shù)

VIT_GetStatusParameters：輔助API，用來(lái)取得VIT的狀態(tài)參數(shù)

以下為簡(jiǎn)單的API調(diào)用流程↓↓↓

原文標(biāo)題：免費(fèi)提供！VIT智能語(yǔ)音技術(shù)：恩智浦深度學(xué)習(xí)應(yīng)用又一得意之作！

文章出處：【微信公眾號(hào)：NXP客?！繗g迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。