在邊緣AI迅速普及的今天，越來越多的應(yīng)用開始依賴復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型來完成多模態(tài)識(shí)別、多任務(wù)處理等能力。然而，由于嵌入式設(shè)備資源受限，開發(fā)者常常希望在極小的內(nèi)存占用下同時(shí)處理多路數(shù)據(jù)、生成多路輸出。

但現(xiàn)實(shí)是什么呢？
大部分TensorFlow Lite Micro(TFLM)的示例，包括很多MCU SDK（例如NXP eIQ examples），默認(rèn)都只支持“單輸入+單輸出”模型。
這不僅限制了模型選擇，也讓開發(fā)者在面對多模態(tài)模型、檢測模型時(shí)十分受限。

因此，本系列文章將帶你從架構(gòu)到實(shí)現(xiàn)，一步步為TFLM添加真正完善的多輸入、多輸出（Multi-Input Multi-Output, MIMO）支持。

真的需要多輸入多輸出嗎？

你可能會(huì)疑惑：
“我平時(shí)的項(xiàng)目都是單輸入單輸出模型，也夠用了呀，還需要這么折騰嗎？”

下面我們從典型場景來看：

1.多模態(tài)融合模型

圖像 +IMU融合姿態(tài)識(shí)別

聲音 +圖像的情緒識(shí)別模型

2.檢測類復(fù)雜模型

YOLO：輸出分類概率、邊界框、置信度

人臉識(shí)別：輸出特征向量 +人臉關(guān)鍵點(diǎn)

3.多任務(wù)學(xué)習(xí)模型

同時(shí)進(jìn)行分類與回歸

語音識(shí)別 +情感分析的聯(lián)合模型

這些模型本質(zhì)上都需要從多個(gè)輸入源獲取數(shù)據(jù)，并產(chǎn)生多個(gè)輸出結(jié)果。
而若代碼層只能訪問第一個(gè)輸入、只取第一個(gè)輸出，那么其余張量就完全“廢掉”了。

以下是我們在SDK中常見的典型“單輸入”實(shí)現(xiàn)：

uint8_t*MODEL_GetInputTensorData(tensor_dims_t* dims,tensor_type_t* type)
{
TfLiteTensor* inputTensor = s_interpreter->input(0);// 只支持第一個(gè)輸入
returnGetTensorData(inputTensor, dims, type);
}

這顯然無法滿足現(xiàn)代邊緣AI模型需求。下面就讓我們以此為基礎(chǔ)，開始設(shè)計(jì)支持多輸入多輸出的軟件架構(gòu)：

一. 架構(gòu)思路設(shè)計(jì)

為了讓TFLM具備完整的多輸入多輸出能力，同時(shí)保持現(xiàn)有項(xiàng)目可平滑過渡，我們從四個(gè)原則出發(fā)：

1.核心設(shè)計(jì)原則

向后兼容：原有單輸入接口不做破壞

類型安全：強(qiáng)檢查避免運(yùn)行期崩潰

輕量高效：盡量減少內(nèi)存和額外運(yùn)算消耗

易于使用：API簡潔，開發(fā)者上手快

二.系統(tǒng)整體架構(gòu)

該結(jié)構(gòu)主要解決三個(gè)問題：

統(tǒng)一管理所有輸入輸出張量

抽象元數(shù)據(jù)（維度、類型、指針）

提供友好的API給應(yīng)用層調(diào)用

三.關(guān)鍵數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)

為了支持多張量信息管理，我們需要設(shè)計(jì)三個(gè)核心結(jié)構(gòu)：這些結(jié)構(gòu)將作為“輸入管理器”“輸出管理器”的基礎(chǔ)能力。

（1）張量維度結(jié)構(gòu)

typedefstruct{

intsize;
             
//
維度數(shù)量

intdata[MAX_TENSOR_DIMS];
    
//
各維度大小
}tensor_dims_t;

（2）張量類型

typedefenum{
kTensorType_FLOAT32,

kTensorType_UINT8,

kTensorType_INT8
}tensor_type_t;

（3）多張量信息結(jié)構(gòu)（核心）

typedefstruct{

intcount;
                 
//
張量數(shù)量

tensor_dims_tdims[MAX_INPUT_TENSORS];
   
//
維度信息數(shù)組

tensor_type_ttypes[MAX_INPUT_TENSORS];
  
//
類型信息數(shù)組

uint8_t* data[MAX_INPUT_TENSORS];
     
//
數(shù)據(jù)指針數(shù)組
}multi_tensor_info_t;

下面展示的是應(yīng)用層會(huì)使用到的主要接口。

（1）基礎(chǔ)查詢

//獲取輸入/輸出張量數(shù)量

intMODEL_GetInputTensorCount(void);
intMODEL_GetOutputTensorCount(void);

（2）單張量訪問

//按索引獲取張量數(shù)據(jù)

uint8_t*MODEL_GetInputTensorData(intindex,tensor_dims_t* dims,tensor_type_t* type);
uint8_t*MODEL_GetOutputTensorData(intindex,tensor_dims_t* dims,tensor_type_t* type);

（3）批量獲取所有張量信息

//一次性獲取所有張量信息

status_tMODEL_GetAllInputTensors(multi_tensor_info_t* input_info);
status_tMODEL_GetAllOutputTensors(multi_tensor_info_t* output_info);

（4）差異化預(yù)處理

//支持按張量索引的差異化預(yù)處理

voidMODEL_ConvertInput(uint8_t* data,tensor_dims_t* dims,
tensor_type_ttype,inttensor_index);

讓開發(fā)者可以針對不同的輸入，有不同的量化、歸一化策略。

五.結(jié)語與預(yù)告

在本篇文章中，我們從“為什么需要MIMO支持”講起，到支持多輸入多輸出的架構(gòu)設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)與API規(guī)劃，構(gòu)建了一套清晰完整的解決方案。

通過這樣的設(shè)計(jì)，我們不僅能夠保持現(xiàn)有代碼兼容，也能讓TFLM順利支持更復(fù)雜的邊緣AI模型，從而大幅提升應(yīng)用可擴(kuò)展性、減少重復(fù)開發(fā)工作，并顯著提高項(xiàng)目的工程效率。

在下一篇《如何為TensorFlow Lite Micro添加多輸入多輸出支持（二）》中，我們將正式進(jìn)入代碼實(shí)現(xiàn)，包括：頭文件設(shè)計(jì)；完整的類型定義和接口聲明以及核心函數(shù)實(shí)現(xiàn)；張量管理和數(shù)據(jù)訪問的具體實(shí)現(xiàn)。

歡迎持續(xù)關(guān)注，如果您在實(shí)際開發(fā)中遇到相關(guān)問題，歡迎在評論區(qū)討論交流。