1. 背景

這可能是全網(wǎng)第一篇完整講解鴻蒙端使用CANN部署AI模型的文章, 滿滿干貨。

社區(qū)作為用戶交流、信息傳遞的核心載體，圖片內(nèi)容（如理財(cái)產(chǎn)品截圖、投資經(jīng)驗(yàn)分享配圖、用戶互動(dòng)評(píng)論圖片等）的展示質(zhì)量直接影響用戶的信息獲取效率與平臺(tái)信任感。從京東金融App社區(qū)的業(yè)務(wù)需求來看，當(dāng)前用戶上傳圖片普遍存在多樣性失真問題：部分用戶通過老舊設(shè)備拍攝的圖片分辨率較低，部分用戶為節(jié)省流量選擇低畫質(zhì)壓縮上傳，還有部分截圖類內(nèi)容因原始來源清晰度不足導(dǎo)致信息模糊（如理財(cái)產(chǎn)品收益率數(shù)字、合同條款細(xì)節(jié)等），這些問題不僅降低了內(nèi)容可讀性，還可能因信息傳遞不清晰引發(fā)用戶誤解。

京東金融App團(tuán)隊(duì)已完成Real-ESRGAN-General-x4v3超分辨率模型在安卓端的部署，能夠針對(duì)性提升評(píng)論區(qū)、內(nèi)容詳情頁、個(gè)人主頁等核心場景的圖片清晰度，從視覺體驗(yàn)層面優(yōu)化用戶留存與互動(dòng)意愿。

ESRGAN-General-x4v3模型在安卓端的部署，采用的是ONNX框架，該方案已有大量公開資料可參考，且取得顯著業(yè)務(wù)成效。但鴻蒙端部署面臨核心技術(shù)瓶頸：鴻蒙系統(tǒng)不支持ONNX框架，部署端側(cè)AI僅能使用華為自研的CANN（Compute Architecture for Neural Networks）架構(gòu)，且當(dāng)前行業(yè)內(nèi)缺乏基于CANN部署端側(cè)AI的公開資料與成熟方案，全程需技術(shù)團(tuán)隊(duì)自主探索。接下來我會(huì)以ESRGAN-General-x4v3為例, 分享從模型轉(zhuǎn)換(NPU親和性改造)到端側(cè)離線模型部署的全部過程。

2. 部署前期準(zhǔn)備

2.1 離線模型轉(zhuǎn)換

CANN Kit當(dāng)前僅支持Caffe、TensorFlow、ONNX和MindSpore模型轉(zhuǎn)換為離線模型，其他格式的模型需要開發(fā)者自行轉(zhuǎn)換為CANN Kit支持的模型格式。模型轉(zhuǎn)換為OM離線模型，移動(dòng)端AI程序直接讀取離線模型進(jìn)行推理。

2.1.1 下載CANN工具

從鴻蒙開發(fā)者官網(wǎng)下載 DDK-tools-5.1.1.1 , 解壓使用Tools下的OMG工具，將ONNX、TensorFlow模型轉(zhuǎn)換為OM模型。(OMG工具位于Tools下載的tools/tools_omg下，僅可運(yùn)行在64位Linux平臺(tái)上。)

?

2.1.2 下載ESRGAN-General-x4v3模型文件

從https://aihub.qualcomm.com/compute/models/real_esrgan_general_x4v3 下載模型的onnx文件.

注意: 下載鏈接中的a8a8的量化模型使用了高通的算子(親測無法轉(zhuǎn)換), CANN工具無法進(jìn)行轉(zhuǎn)換, 因此請(qǐng)下載float的量化模型。

下載后有兩個(gè)文件:

?model.onnx文件 (模型結(jié)構(gòu)): 包含計(jì)算圖、opset版本、節(jié)點(diǎn)配置等，文件較小。

?model.data文件 (權(quán)重?cái)?shù)據(jù)): 包含神經(jīng)網(wǎng)絡(luò)參數(shù)、權(quán)重等，文件較大。

現(xiàn)在我們需要把這種分離文件格式的模型合并成一個(gè)文件,后續(xù)的操作都使用這個(gè)。

合并文件:

請(qǐng)使用JoyCode寫個(gè)合并腳本即可, 提示詞: 請(qǐng)寫一個(gè)腳本, 把onnx模型文件的.onnx和.data文件合并。

2.1.3 OM模型轉(zhuǎn)換

1. ONNX opset 版本轉(zhuǎn)換

當(dāng)前使用CANN進(jìn)行模型轉(zhuǎn)換, 支持ONNX opset版本7~18（最高支持到V1.13.1）, 首先需要查看原始的onnx模型的opset版本是否在支持范圍, 這里我們使用Netron(點(diǎn)擊下載)可視化工具進(jìn)行查看。

??

?

目前該模型使用的opset版本是20, 因此我們需要把該模型的opset版本轉(zhuǎn)成18, 才可以用CANN轉(zhuǎn)換成鴻蒙上可部署的模型。請(qǐng)使用JoyCode寫個(gè)opset轉(zhuǎn)換腳本即可, 提示詞: 請(qǐng)寫一個(gè)腳本, 把onnx模型文件的opset版本從20轉(zhuǎn)換成18。

?

2. OM離線模型

命令行中的參數(shù)說明請(qǐng)參見OMG參數(shù)，轉(zhuǎn)換命令：

./tools/tools_omg/omg --model new_model_opset18.onnx --framework 5 --output ./model

轉(zhuǎn)換完成后, 生成model.om的模型文件, 該模型文件就是鴻蒙上可以正常使用的模型文件

2.2 查看模型的輸入/輸出張量信息

部署AI模式時(shí), 我們需要確認(rèn)模型的輸入張量和輸出張量信息, 請(qǐng)使用JoyCode編寫一個(gè)腳本, 確定輸入輸出張量信息, 提示詞: 寫一個(gè)腳本查看onnx模型的輸入輸出張量信息。

??

?

2.2.1 輸入張量

BCHW格式, 是深度學(xué)習(xí)中常見的張量維度排列格式, 在圖像處理場景中:

?B (Batch): 批次大小 - 一次處理多少個(gè)樣本。

?C (Channel): 通道數(shù) - 圖像的顏色通道數(shù)。

?H (Height): 高度 - 圖像的像素高度。

?W (Width): 寬度 - 圖像的像素寬度。

由此可以得出結(jié)論, 該模型1個(gè)批次處理1張寬高為128*128的RGB圖片(因?yàn)镃是3,因此不包含R通道)。

?

2.2.2 輸出張量

該模型1個(gè)批次輸出1張寬高為512*512的RGB圖片。

?

2.2.3 BCHW和BHWC格式的區(qū)別:

超分模型中的BCHW和BHWC是兩種不同的張量存儲(chǔ)格式，主要區(qū)別在于通道維度的位置：

?

?BCHW格式（Batch-Channel-Height-Width）

?維度順序：[批次, 通道, 高度, 寬度]

?內(nèi)存布局：通道維度在空間維度之前

?常用框架：PyTorch、TensorRT等

示例: 形狀為 (1, 3, 256, 256) 的RGB圖像

內(nèi)存中的存儲(chǔ)順序： R通道的所有像素 -> G通道的所有像素 -> B通道的所有像素

tensor_bchw = torch.randn(1, 3, 256, 256)
訪問第一個(gè)像素的RGB值需要跨越不同的內(nèi)存區(qū)域
pixel_0_0_r = tensor_bchw[0, 0, 0, 0]  # R通道
pixel_0_0_g = tensor_bchw[0, 1, 0, 0]  # G通道  
pixel_0_0_b = tensor_bchw[0, 2, 0, 0]  # B通道

?BHWC格式（Batch-Height-Width-Channel）

?維度順序：[批次, 高度, 寬度, 通道]

?內(nèi)存布局：通道維度在最后，像素的所有通道連續(xù)存儲(chǔ)

?常用框架：TensorFlow、OpenCV等

示例：形狀為 (1, 256, 256, 3) 的RGB圖像

內(nèi)存中的存儲(chǔ)順序：像素(0,0)的RGB -> 像素(0,1)的RGB -> ... -> 像素(0,255)的RGB -> 像素(1,0)的RGB...

tensor_bhwc = tf.random.normal([1, 256, 256, 3])
# 訪問第一個(gè)像素的RGB值在連續(xù)的內(nèi)存位置
pixel_0_0_rgb = tensor_bhwc[0, 0, 0, :]  # [R, G, B]

?

3. 鴻蒙端部署核心步驟

3.1 創(chuàng)建項(xiàng)目

1.創(chuàng)建DevEco Studio項(xiàng)目，選擇“Native C++”模板，點(diǎn)擊“Next”。

??

?

2.按需填寫“Project name”、“Save location”和“Module name”，選擇“Compile SDK”為“5.1.0(18)”及以上版本，點(diǎn)擊“Finish”。

??

?

3.2 配置項(xiàng)目NAPI

CANN部署只提供了C++接口, 因此需要使用NAPI, 編譯HAP時(shí)，NAPI層的so需要編譯依賴NDK中的libneural_network_core.so和libhiai_foundation.so。

?

頭文件引用

按需引用NNCore和CANN Kit的頭文件。

#include "neural_network_runtime/neural_network_core.h"
#include "CANNKit/hiai_options.h"

編寫CMakeLists.txt

CMakeLists.txt示例代碼如下。

cmake_minimum_required(VERSION 3.5.0)
project(myNpmLib)

set(NATIVERENDER_ROOT_PATH ${CMAKE_CURRENT_SOURCE_DIR})

include_directories(${NATIVERENDER_ROOT_PATH}
                    ${NATIVERENDER_ROOT_PATH}/include)

include_directories(${HMOS_SDK_NATIVE}/sysroot/usr/lib)
FIND_LIBRARY(cann-lib hiai_foundation)

add_library(imagesr SHARED HIAIModelManager.cpp ImageSuperResolution.cpp)
target_link_libraries(imagesr PUBLIC libace_napi.z.so
    libhilog_ndk.z.so
    librawfile.z.so
    ${cann-lib}
    libneural_network_core.so
    )

3.3 集成模型

模型的加載、編譯和推理主要是在native層實(shí)現(xiàn)，應(yīng)用層主要作為數(shù)據(jù)傳遞和展示作用。模型推理之前需要對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理以匹配模型的輸入，同樣對(duì)于模型的輸出也需要做處理獲取自己期望的結(jié)果

?

??

3.3.1 加載離線模型

為了讓App運(yùn)行時(shí)能夠讀取到模型文件和處理推理結(jié)果，需要先把離線模型和模型對(duì)應(yīng)的結(jié)果標(biāo)簽文件預(yù)置到工程的“entry/src/main/resources/rawfile”目錄中。

??

?

在App應(yīng)用創(chuàng)建時(shí)加載模型:

1.native層讀取模型的buffer。

const char* modelPath = "imagesr.om";
RawFile *rawFile = OH_ResourceManager_OpenRawFile(resourceMgr, modelPath);
long modelSize = OH_ResourceManager_GetRawFileSize(rawFile);
std::unique_ptr modelData = std::make_unique(modelSize);
int res = OH_ResourceManager_ReadRawFile(rawFile, modelData.get(), modelSize);

2.使用模型的buffer, 調(diào)用OH_NNCompilation_ConstructWithOfflineModelBuffer創(chuàng)建模型的編譯實(shí)例

HiAI_Compatibility compibility = HMS_HiAICompatibility_CheckFromBuffer(modelData, modelSize);
OH_NNCompilation *compilation = OH_NNCompilation_ConstructWithOfflineModelBuffer(modelData, modelSize);

3.（可選）根據(jù)需要調(diào)用HMS_HiAIOptions_SetOmOptions接口，打開維測功能（如Profiling）。

const char *out_path = "/data/storage/el2/base/haps/entry/files";
HiAI_OmType omType = HIAI_OM_TYPE_PROFILING;
OH_NN_ReturnCode ret = HMS_HiAIOptions_SetOmOptions(compilation, omType, out_path);     

4.設(shè)置模型的deviceID。

size_t deviceID = 0;
const size_t *allDevicesID = nullptr;
uint32_t deviceCount = 0;
OH_NN_ReturnCode ret = OH_NNDevice_GetAllDevicesID(&allDevicesID, &deviceCount);

for (uint32_t i = 0; i < deviceCount; i++) {
    const char *name = nullptr;
    ret = OH_NNDevice_GetName(allDevicesID[i], &name);
    if (ret != OH_NN_SUCCESS || name == nullptr) {
        OH_LOG_ERROR(LOG_APP, "OH_NNDevice_GetName failed");
        return deviceID;
    }
    if (std::string(name) == "HIAI_F") {
        deviceID = allDevicesID[i];
        break;
    }
}

ret = OH_NNCompilation_SetDevice(compilation, deviceID);

5.調(diào)用OH_NNCompilation_Build，執(zhí)行模型編譯。

ret = SetModelBuildOptions(compilation);
ret = OH_NNCompilation_Build(compilation);

6.調(diào)用OH_NNExecutor_Construct，創(chuàng)建模型執(zhí)行器。

executor_ = OH_NNExecutor_Construct(compilation);

7.調(diào)用OH_NNCompilation_Destroy，釋放模型編譯實(shí)例。

?

3.3.2 準(zhǔn)備輸入輸出Tensor

1.處理模型的輸入，模型的輸入為1*3*128*128格式(BCHW) Float類型的數(shù)據(jù), 需要把RGB 數(shù)據(jù)轉(zhuǎn)成BCHW格式并進(jìn)行歸一化。

從圖片中讀取的RGB數(shù)據(jù)為BHWC,需要轉(zhuǎn)換成模型可以識(shí)別的BCHW
/**
 * 把bhwc轉(zhuǎn)成bchw
 */
uint8_t *rgbData = static_cast(data);
uint8_t *floatData_tmp = new uint8_t[length];
for (int c = 0; c < 3; ++c) {
    for (int h = 0; h < 128; ++h) {
        for (int w = 0; w < 128; ++w) {
            // HWC 索引: h * width * channels + w * channels +c 
            int hwc_index = h * 128 * 3 + w * 3 + c;
            // CHW 索引: C * height * width + h* width + W
            int chw_index = c * 128 * 128 + h * 128 + w;
            floatData_tmp[chw_index] = rgbData[hwc_index];
        }
    }
}
//歸一化
float *floatData = new float[length];
for (size_t i = 0; i < length; ++i) {
    floatData[i] = static_cast(floatData_tmp[i])/ 255.0f;
}

2.創(chuàng)建模型的輸入和輸出Tensor，并把應(yīng)用層傳遞的數(shù)據(jù)填充到輸入的Tensor中

// 準(zhǔn)備輸入張量
size_t inputCount = 0;
OH_NN_ReturnCode ret = OH_NNExecutor_GetInputCount(executor_, &inputCount);
for (size_t i = 0; i < inputCount; ++i) {
    NN_TensorDesc *tensorDesc = OH_NNExecutor_CreateInputTensorDesc(executor_, i);
    NN_Tensor *tensor = OH_NNTensor_Create(deviceID_, tensorDesc);
    if (tensor != nullptr) {
        inputTensors_.push_back(tensor);
    }
    OH_NNTensorDesc_Destroy(&tensorDesc);
}


ret = SetInputTensorData(inputTensors_, inputData);

// 準(zhǔn)備輸出張量
size_t outputCount = 0;
ret = OH_NNExecutor_GetOutputCount(executor_, &outputCount);

for (size_t i = 0; i < outputCount; i++) {
    NN_TensorDesc *tensorDesc = OH_NNExecutor_CreateOutputTensorDesc(executor_, i);
    NN_Tensor *tensor = OH_NNTensor_Create(deviceID_, tensorDesc);
    if (tensor != nullptr) {
        outputTensors_.push_back(tensor);
    }
    OH_NNTensorDesc_Destroy(&tensorDesc);
}
if (outputTensors_.size() != outputCount) {
    DestroyTensors(inputTensors_);
    DestroyTensors(outputTensors_);
    OH_LOG_ERROR(LOG_APP, "output size mismatch.");
    return OH_NN_FAILED;
}

?

3.3.3 進(jìn)行推理

調(diào)用OH_NNExecutor_RunSync，完成模型的同步推理。

OH_NN_ReturnCode ret = OH_NNExecutor_RunSync(executor_, inputTensors_.data(), inputTensors_.size(),
                                                 outputTensors_.data(), outputTensors_.size());

說明

?如果不更換模型，則首次編譯加載完成后可多次推理，即一次編譯加載，多次推理。

?所有關(guān)于模型的操作, 均無法多線程執(zhí)行。

?

3.3.4 獲取模型輸出并處理數(shù)據(jù)

1.調(diào)用OH_NNTensor_GetDataBuffer，獲取輸出的Tensor，在輸出Tensor中會(huì)得到模型的輸出數(shù)據(jù)。

// 獲取第一個(gè)輸出張量
NN_Tensor* tensor = outputTensors_[0];

// 獲取張量數(shù)據(jù)緩沖區(qū)
void *tensorData = OH_NNTensor_GetDataBuffer(tensor);

// 獲取張量大小
size_t size = 0;
OH_NN_ReturnCode ret = OH_NNTensor_GetSize(tensor, &size);

float *tensorDataOutput = (float*)malloc(size);
// 將tensorData的數(shù)據(jù)一次性復(fù)制到tensorDataOutput中
memcpy(tensorDataOutput, tensorData, size);

?

2.對(duì)Tensor輸出數(shù)據(jù)進(jìn)行相應(yīng)的處理

把模型輸出的BCHW轉(zhuǎn)成BHWC, 并進(jìn)行反歸一化處理

?

//把模型輸出的BCHW轉(zhuǎn)成BHWC
float *outputResult = static_cast(tensorData);
float *output_tmp = new float[size/sizeof(float)];
for (int h = 0; h < 512; ++h) {
    for (int w = 0; w < 512; ++w) {
        for (int c = 0; c < 3; ++c) {
            output_tmp[h * 512 * 3 + w* 3 + c] = outputResult[c * 512 * 512 + h * 512 + w];
        }
    }
}
std::vector output(size / sizeof(float), 0.0);
for (size_t i = 0; i < size / sizeof(float); ++i) {
    output[i] = output_tmp[i];
}
delete [] output_tmp;


 // 計(jì)算總的數(shù)據(jù)大小
size_t totalSize = output.size();

// 分配結(jié)果數(shù)據(jù)內(nèi)存
std::unique_ptr result_data = std::make_unique(totalSize);

// 將float數(shù)據(jù)轉(zhuǎn)換為uint8_t (反歸一化)
size_t index = 0;
for (float value : result) {
    // 將float值轉(zhuǎn)換為uint8_t (0-255范圍)
    float scaledValue = value * 255.0f;
    scaledValue = std::max(0.0f, std::min(255.0f, scaledValue));
    result_data[index++] = static_cast(scaledValue);
}

result_data 就是最終的超分?jǐn)?shù)據(jù),可以正常顯示

?

4. 總結(jié)與技術(shù)展望

京東金融App在鴻蒙端部署Real-ESRGAN-General-x4v3超分辨率模型的完整實(shí)踐過程，成功解決了ONNX模型到OM離線模型轉(zhuǎn)換、BCHW與BHWC張量格式處理、以及基于CANN Kit和NAPI的完整部署鏈路等關(guān)鍵技術(shù)難題。

展望端智能的未來發(fā)展，隨著芯片算力的指數(shù)級(jí)增長、模型壓縮技術(shù)的突破性進(jìn)展以及邊緣計(jì)算架構(gòu)的日趨成熟，端側(cè)設(shè)備將從單純的數(shù)據(jù)采集終端演進(jìn)為具備強(qiáng)大推理能力的智能計(jì)算節(jié)點(diǎn)，通過實(shí)現(xiàn)多模態(tài)AI融合、實(shí)時(shí)個(gè)性化學(xué)習(xí)、隱私保護(hù)計(jì)算和跨設(shè)備協(xié)同等核心能力，將大語言模型、計(jì)算機(jī)視覺、語音識(shí)別等AI技術(shù)深度集成到移動(dòng)設(shè)備中，構(gòu)建起無需聯(lián)網(wǎng)即可提供智能服務(wù)的自主計(jì)算生態(tài)，推動(dòng)人機(jī)交互從被動(dòng)響應(yīng)向主動(dòng)感知、預(yù)測和服務(wù)的范式轉(zhuǎn)變，最終開啟真正意義上的普惠人工智能時(shí)代。

審核編輯 黃宇