本項(xiàng)目是基于FH8626V300L的人形檢測(cè)的移動(dòng)追蹤云臺(tái)攝像機(jī)，12月27日深圳南山，免費(fèi)培訓(xùn)，我們帶你半天上手，人形檢測(cè)模型部署+優(yōu)化全流程，三人（工程師）成團(tuán)贈(zèng)送開發(fā)板哦！

掃碼報(bào)名：

目錄

項(xiàng)目背景與功能

硬件使用

硬件設(shè)計(jì)

開發(fā)環(huán)境

軟件設(shè)計(jì)

視頻演示

調(diào)試過(guò)程中所遇到的問(wèn)題

展望

1 項(xiàng)目背景與功能

隨著高性能嵌入式芯片以及人工智能技術(shù)與視覺神經(jīng)網(wǎng)絡(luò)的高速發(fā)展，智能檢測(cè)技術(shù)已在智能安防、智慧醫(yī)療、智能駕駛、工業(yè)檢測(cè)等領(lǐng)域得到廣泛應(yīng)用。

本作品主要依賴FH8626V300L nna模塊結(jié)合sdk提供人形檢測(cè)模型實(shí)現(xiàn)人形檢測(cè)功能，輔以二維云臺(tái)進(jìn)而實(shí)現(xiàn)人形追蹤功能。

2 硬件使用

使用雙鏡頭cv2005做雙目輸入

使用pwm6、pwm7兩路pwm驅(qū)動(dòng)云臺(tái)舵機(jī)

使用網(wǎng)口連接網(wǎng)絡(luò)以實(shí)現(xiàn)rtsp推流

3 硬件設(shè)計(jì)

fh8626v300Ldemo板有pwm接口引出通過(guò)跳線帽選擇對(duì)應(yīng)的線路連接，原理圖如下這里將跳線帽拔下直接將舵機(jī)pwm控制腳直接接到j(luò)p18以及jp20座子的2腳連接芯片。

所使用的二維云臺(tái)如下，使用舵機(jī)為：LD-1501MG pwm舵機(jī)，因其需要6-7.4v供電 因此又單獨(dú)加了一個(gè)電源模塊為其供電。

4 開發(fā)環(huán)境

fh8626v300sdk要在linux環(huán)境下進(jìn)行開發(fā)，我這里為方便開發(fā) 在windows下安裝的虛擬機(jī) 搭配samba 以及ssh在windows下進(jìn)行的操作。

交叉編譯鏈 安裝以及sdk編譯及使用 這部分參照富瀚sdk提供的手冊(cè)即可迅速完成。

本作品是在sdk的media_demo基礎(chǔ)上進(jìn)行的基本操作按照手冊(cè)配置即可 只是習(xí)慣于使用sd卡進(jìn)行固件加載指令如下：

fatload mmc 0 10000000 media_demo.bin

go 10000000

除加載方式之外其余操作跟手冊(cè)流程是一樣的。

5 軟件設(shè)計(jì)

1、pwm復(fù)用

要確保內(nèi)核pwm設(shè)備驅(qū)動(dòng)打開 在sdk/rt-thread目錄內(nèi) make menuconfig進(jìn)行配置 如下圖所示：

2、配置io復(fù)用

修改sdk/rt-thread/platform/fh8626v300/app_board/appboard_iopad.h文件

pin腳復(fù)用需要注意不能沖突，否則會(huì)導(dǎo)致復(fù)用不生效

pin腳功能可查看pin_mux表格，或者直接從fh8626v300_iopad.h文件中查看

3、配置生效后在板子上/dev下會(huì)出現(xiàn)設(shè)備文件

pinctrl -l可查看pin腳復(fù)用信息

cv2005雙目出圖可參照 sdk中測(cè)試固件cv2005常電模式文檔說(shuō)明進(jìn)行配置即可

fh碼流通道數(shù)據(jù)格式如下圖所示

nna模塊所需數(shù)據(jù)為rgb888格式，因此在使用nna人形檢測(cè)功能時(shí)需要使能通道2，這里用的是sensor0做人形檢測(cè) 通道2幅面跟通道0幅面保證橫縱比相同 就是縮放而來(lái)的數(shù)據(jù)檢測(cè)結(jié)果可以直接映射過(guò)去進(jìn)行osd畫框。幅面如下圖配置所示

nna模塊檢測(cè)結(jié)果及通道0映射如下圖所示

6 人形追蹤邏輯

目標(biāo)：讓監(jiān)測(cè)到的目標(biāo)中心點(diǎn)落于整個(gè)幅面的中心（1920/2，1080/2），為防止攝像頭抖動(dòng)故此將中心擴(kuò)大到一塊范圍，只要目標(biāo)中心在畫面中間范圍內(nèi)就無(wú)需驅(qū)動(dòng)云臺(tái)轉(zhuǎn)動(dòng)，像素點(diǎn)與角度的關(guān)系示意圖如下所示，簡(jiǎn)單的映射關(guān)系即可得到兩個(gè)像素點(diǎn)之間所對(duì)應(yīng)的角度后續(xù)只需要根據(jù)目標(biāo)中心距離幅面中心點(diǎn)像素差值即可計(jì)算出需要轉(zhuǎn)動(dòng)的角度

7 視頻演示

人形檢測(cè)畫框可通過(guò)vlc rtsp拉流進(jìn)行查看

因目前沒(méi)有合適的架子，擔(dān)心開發(fā)板架上云臺(tái)導(dǎo)致短路故而只演示了人形在畫面不同方位云臺(tái)轉(zhuǎn)動(dòng)的方向示意，后續(xù)再進(jìn)行更新板子架上云臺(tái)的效果。

8 調(diào)試過(guò)程中所遇到的問(wèn)題

畫面色彩發(fā)黃

ircut問(wèn)題，將鏡頭ircut接口接到j(luò)20座子，jp27跳線帽短接1，2腳 復(fù)用GPIO4之后直接上電即可切ircut，gpio4默認(rèn)電平為高 查過(guò)硬件發(fā)現(xiàn)ircut芯片到另一個(gè)控制腳gpio29中間的R69沒(méi)貼，所以可以直接把ircut弄掉，畫面色彩就是正常的。只是在室內(nèi)測(cè)試具體情況還是要具體分析以確定ircut狀態(tài)，需要打開ircut的話短接R69并將GPIO29拉高 GPIO4拉低即可

9 展望

目前走的雙目方案，可以主鏡頭做絆線檢測(cè)，副鏡頭做人形追蹤。以做到主鏡頭做固定范圍的監(jiān)測(cè)副鏡頭聯(lián)動(dòng)。當(dāng)有人進(jìn)入特定范圍后報(bào)警并且副鏡頭進(jìn)行追蹤 做到類似現(xiàn)在攝像頭槍球聯(lián)動(dòng)的效果。

工程鏈接：

通過(guò)網(wǎng)盤分享的文件：rt-thread.tar

鏈接:https://pan.baidu.com/s/1nGO9-9ONg_Lf2KOyhpVTHQ?pwd=bph2提取碼: bph2

工程是在media_demo基礎(chǔ)之上開發(fā)的 可以直接將文件解壓到sdk中直接編譯

鏈接：https://gitee.com/lkqqf/lkq_project/tree/master

如果您有項(xiàng)目需求獲取同款芯片，可以掃碼申請(qǐng)?jiān)囉谩?/p>

如果您有項(xiàng)目需求獲取同款芯片，可以掃碼申請(qǐng)?jiān)囉谩?/p>

掃碼申請(qǐng)?jiān)囉茫?/p>

或前往淘寶購(gòu)買：https://e.tb.cn/h.SDz8fmbdZoxn8fI?tk=w2b6fn2xZpQ

RT-Thread Github 開源倉(cāng)庫(kù)，歡迎撒個(gè)星(Star)支持，更期待你的代碼貢獻(xiàn)：https://github.com/RT-Thread/rt-thread

添加小師弟微信↓，拉你進(jìn)RT-Thread技術(shù)交流群，找到組織！