1. 方案簡(jiǎn)介

本方案將演示如何利用EASY-EAI-Nano-TB以及MIPI-CSI攝像頭制作一個(gè)【網(wǎng)絡(luò)攝像頭(IPCamera)】：兩路MIPI-CSI攝像頭分別單獨(dú)輸出兩路流。

1.1 接線示意圖

攝像頭與板卡連接：

* 接線必須在斷電時(shí)進(jìn)行操作。

* 采用反向線連接IMX415攝像頭與Cmaera1接口。（注意：用錯(cuò)線會(huì)燒壞攝像頭或者核心板，因此在接線時(shí)務(wù)必要小心。）

* 接線端子卡扣與FPC線的藍(lán)色塑料標(biāo)識(shí)必須位于同一側(cè)。如下圖所示。

EASY EAI Nano-TB默認(rèn)搭配IMX415單目攝像頭。同時(shí)配有一根0.5mm間距的40pin FPC反向線。

反向線：兩端的藍(lán)色標(biāo)識(shí)不在同一側(cè)面。

同向線：兩端的藍(lán)色標(biāo)識(shí)處于同一側(cè)面。

2. 快速上手

2.1 開發(fā)環(huán)境準(zhǔn)備

如果您初次閱讀此文檔，請(qǐng)閱讀《入門指南/開發(fā)環(huán)境準(zhǔn)備/Easy-Eai編譯環(huán)境準(zhǔn)備與更新》，并按照其相關(guān)的操作，進(jìn)行編譯環(huán)境的部署。

在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本，進(jìn)入EASY-EAI編譯環(huán)境，具體如下所示。

cd ~/develop_environment ./run.sh 2204

2.2 源碼下載以及例程編譯

在EASY-EAI編譯環(huán)境下創(chuàng)建存放源碼倉(cāng)庫(kù)的管理目錄：

cd /opt mkdir EASY-EAI-Toolkit cd EASY-EAI-Toolkit

通過git工具，在管理目錄內(nèi)克隆遠(yuǎn)程倉(cāng)庫(kù)

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-1126B.git

注：

* 此處可能會(huì)因網(wǎng)絡(luò)原因造成卡頓，請(qǐng)耐心等待。

* 如果實(shí)在要在gitHub網(wǎng)頁(yè)上下載，也要把整個(gè)倉(cāng)庫(kù)下載下來，不能單獨(dú)下載本實(shí)例對(duì)應(yīng)的目錄。

進(jìn)入到對(duì)應(yīng)的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd EASY-EAI-Toolkit-1126B/Solutions/detect-Person ./build.sh

注：

* 由于依賴庫(kù)部署在板卡上，因此交叉編譯過程中必須保持/mnt掛載。

2.3 模型部署

要想開發(fā)實(shí)例能夠順利執(zhí)行，還需要先下載人員檢測(cè)算法模型。

百度網(wǎng)盤鏈接為：https://pan.baidu.com/s/1ds5ffznYnhtj1S6cXvjdVg?pwd=1234 （提取碼：1234 ）。

同時(shí)需要把下載的人臉檢測(cè)算法模型復(fù)制粘貼到Release/目錄：

再執(zhí)行一次編譯（這次要帶上cpres，代表把資源文件也拷過去板卡）：

./build.sh cpres

2.4 例程運(yùn)行

通過串口調(diào)試或ssh調(diào)試，進(jìn)入板卡后臺(tái)，定位到例程部署的位置，如下所示：

cd /userdata/Solu/detect-Person

運(yùn)行例程命令如下所示。

./detect-Person 23

屏幕顯示效果如下：

3. 代碼解析

方案主邏輯代碼位于：EASY-EAI-Toolkit-1126B/Solution/detect-Person/src/main.cpp。代碼實(shí)現(xiàn)主要通過調(diào)用我司的easyeai-api庫(kù)快速實(shí)現(xiàn)人員檢測(cè)功能，代碼主體分為主線程和算法

3.1 組件庫(kù)組成

要實(shí)現(xiàn)人員檢測(cè)功能，需要使用到easyeai-api庫(kù)的以下組件，如下所示。

模組信息如下所示。

這些組件通過CMakeLists.txt編譯進(jìn)工程，具體請(qǐng)看后續(xù)章節(jié)。

3.2 邏輯框圖

項(xiàng)目的整體邏輯框圖如下所示。

3.3 主線程

主線程處理的業(yè)務(wù)有：

l 初始化外設(shè)；

l 創(chuàng)建算法分析子線程；

l 抓圖發(fā)送給到子線程；

l 抓圖、顯示；

本處附上主要的邏輯功能代碼，其他輔助的、校驗(yàn)型的代碼先忽略。

初始化顯示屏，如下所示。

// 1.初始化顯示屏 int width, height; if (disp_init(&width, &height) < 0) { fprintf(stderr, "DRM初始化失敗\n"); return -1;

組件初始化操作如下，本處調(diào)用mipi攝像頭。

// 2.打開攝像頭 #define CAMERA_WIDTH 1920 #define CAMERA_HEIGHT 1080 #define IMGRATIO 3 #define IMAGE_SIZE (CAMERA_WIDTH*CAMERA_HEIGHT*IMGRATIO) int cameraIndex = atoi(argv[1]); ret = mipicamera_init(cameraIndex, CAMERA_WIDTH, CAMERA_HEIGHT, 0); if (ret) { printf("error: %s, %d\n", __func__, __LINE__); goto exit3; } pbuf = (char *)malloc(IMAGE_SIZE); if (!pbuf) { printf("error: %s, %d\n", __func__, __LINE__); ret = -1; goto exit2; }

創(chuàng)建線程斥鎖以及線程，如下所示。

// 3.創(chuàng)建識(shí)別線程，以及圖像互斥鎖 pthread_mutex_init(&img_lock, NULL); pResult = (Result_t *)malloc(sizeof(Result_t)); memset(pResult, 0, sizeof(Result_t)); if(0 != CreateNormalThread(detect_thread_entry, pResult, &mTid)){ free(pResult); }

抓取圖像，調(diào)用clone操作。

// 4.1、取流 pthread_mutex_lock(&img_lock); ret = mipicamera_getframe(cameraIndex, pbuf); if(ret) { printf("error: %s, %d\n", __func__, __LINE__); pthread_mutex_unlock(&img_lock); continue; } algorithm_image = Mat(CAMERA_HEIGHT, CAMERA_WIDTH, CV_8UC3, pbuf); image = algorithm_image.clone(); pthread_mutex_unlock(&img_lock);

調(diào)用顯示圖像，將分析的目標(biāo)位置通過Result標(biāo)記出來。

// 4.2、顯示 char text[256]; for (int i = 0; i < Result.algoRes[0].resNumber; i++) { detect_result_t *det_result = &(Result.algoRes[0].detect_Group.results[i]); if( det_result->prop < 0.4) { continue; } // 標(biāo)出識(shí)別目標(biāo)框 sprintf(text, "%s %.1f%%", det_result->name, det_result->prop * 100); printf("%s @ (%d %d %d %d) %f\n", det_result->name, det_result->box.left, det_result->box.top, det_result->box.right, det_result->box.bottom, det_result->prop); int x1 = det_result->box.left; int y1 = det_result->box.top; int x2 = det_result->box.right; int y2 = det_result->box.bottom; // 標(biāo)出識(shí)別目標(biāo)定位標(biāo)記 /* rectangle(image, cv::Point(x1, y1), cv::Point(x2, y2), cv::Scalar(255, 0, 0, 255), 3); putText(image, text, cv::Point(x1, y1 + 12), cv::FONT_HERSHEY_SIMPLEX, 0.5, cv::Scalar(0, 0, 0)); */ plot_one_box(image, x1, x2, y1, y2, text, i%10); } disp_commit(image.data, CAMERA_WIDTH, CAMERA_HEIGHT, HAL_TRANSFORM_ROT_270);

3.4 算法分析子線程

算法分析子線程，主要完成以下操作：

l 延時(shí)監(jiān)測(cè)是否圖像緩沖區(qū)是否為空；

l 不為空時(shí)，證明主函數(shù)已發(fā)送圖像數(shù)據(jù)過來，線程執(zhí)行圖像獲取操作；

l 調(diào)用人員分析函數(shù)；

l 記錄目標(biāo)框的數(shù)據(jù)，用于后續(xù)圖像合成操作；

延時(shí)監(jiān)測(cè)是否有圖像，操作如下所示。

if(algorithm_image.empty()) { usleep(5); continue; }

獲取圖像操作如下所示。

pthread_mutex_lock(&img_lock); image = algorithm_image.clone(); pthread_mutex_unlock(&img_lock);

調(diào)用人員檢測(cè)函數(shù)，算法得到的目標(biāo)結(jié)果記錄于pResult的algoRes[0]成員內(nèi)，如下所示。

// 算法分析 ret = person_detect_run(ctx, image, &pResult->algoRes[0].detect_Group);

4. 開發(fā)指南

4.1 Toolkit倉(cāng)庫(kù)介紹

4.2 示例文件&目錄結(jié)構(gòu)

4.2.1 開發(fā)實(shí)例介紹

每個(gè)開發(fā)實(shí)例就是一個(gè)獨(dú)立的項(xiàng)目，項(xiàng)目使用cmake構(gòu)建自動(dòng)編譯部署。一個(gè)最簡(jiǎn)單的項(xiàng)目至少要包含以下元素：build.sh、CMakeLists.txt、main.c，如下所示。

具體介紹如下所示。

4.2.2 可拓展的目錄

可拓展的目錄是指：開發(fā)過程中增加某些功能模塊，功能代碼。增加模式分為兩種：

l 增加已編譯的第三方庫(kù)，在include、libs目錄內(nèi)添加頭文件和庫(kù)文件；

l 增加用戶自定義的功能模塊，推薦在src目錄內(nèi)增加；

具體情況如下所示，第三方模塊相關(guān)的文件由include/3rd_model/xxx.h、libs/3rd_model/xxx.a。自定義的功能模塊為src/mySrcCode、src/mySrcCode2。

4.3 CMakeLists.txt文件解析

4.3.1 編譯環(huán)境配置部分：

第一部分為配置部分，配置部分如下所示。（獲取當(dāng)前方案目錄、配置工具鏈、提取方案名稱）：

配置信息如下所示。

4.3.2 easyeai-api配置部分

第二部分是引入我司的功能組件庫(kù)（針對(duì)當(dāng)前方案進(jìn)行：配置EASY EAI API頭文件目錄${XXX_INCLUDE_DIRS}、源碼文件目錄${XXX_SOURCE_DIRS}以及所依賴的庫(kù)參數(shù)${XXX_LIBS}）：

配置信息如下所示。

4.3.3 第三方庫(kù)配置部分

第三部分配置第三方的庫(kù)（針對(duì)當(dāng)前方案進(jìn)行：配置第三方頭文件目錄、庫(kù)文件目錄、配置第三方庫(kù)鏈接參數(shù)以及配置源碼目錄）：

配置信息如下所示。

例如添加個(gè)人庫(kù)的目錄組成方式如下所示。

aux_source_directory的修改方式為：

aux_source_directory(./src ./src/mySrcCode ./src/mySrcCode2 dir_srcs)

或

aux_source_directory(./src dir_srcs) aux_source_directory(./src/mySrcCode dir_srcs) aux_source_directory(./src/mySrcCode2 dir_srcs)

4.3.4 本方案配置部分

第四部分配置項(xiàng)目的編譯信息，內(nèi)容如下所示：

配置項(xiàng)如下所示。

4.4 build.sh編譯腳本：

4.4.1 路徑定位部分

第一部分用于提取目錄用于編譯操作，內(nèi)容如下所示：（進(jìn)入build.sh腳本所在目錄，并且提取當(dāng)前目錄絕對(duì)路徑，提取當(dāng)前目錄名稱）

4.4.2 清除編譯部分

第二部分清除操作，清除目錄為build、Release，內(nèi)容如下所示：（執(zhí)行build.sh腳本時(shí)，帶入了參數(shù)“clear”，則清空編譯輸出）

4.4.3 編譯操作

第三部分，編譯直接調(diào)用cmake，內(nèi)容如下所示：（重新編譯，成部署目錄，并把資源自動(dòng)部署進(jìn)板卡）