STM32圖像處理庫(kù)介紹

STM32圖像處理庫(kù)（STM32IPL）是一個(gè)用C語(yǔ)言編寫(xiě)的開(kāi)源軟件庫(kù)，它提供圖像處理和計(jì)算機(jī)視覺(jué)功能，以便在STM32微控制器上更快地開(kāi)發(fā)視覺(jué)分析應(yīng)用程序。最近，STM32IPL作為STM32Cube的一個(gè)中間件組件, 在FP-AI-VISION1功能包的最新版本（v3.1.0）中一起發(fā)布。

眾所周知，計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)模型的輸入通常與相機(jī)捕獲的圖像幀不同。深度學(xué)習(xí)模型的輸入可能有不同的維度和不同的圖像格式，因此通常需要對(duì)原始圖像進(jìn)行一些基本的預(yù)處理，例如：調(diào)整大小、圖像格式轉(zhuǎn)換、歸一化等。STM32IPL通過(guò)提供一些功能強(qiáng)大且隨時(shí)可用的軟件組件，簡(jiǎn)化并加速此類(lèi)圖像預(yù)處理功能的開(kāi)發(fā)。 主要特性 STM32IPL的關(guān)鍵特性：

為開(kāi)發(fā)人員提供功能強(qiáng)大且隨時(shí)可用的軟件組件，縮短STM32平臺(tái)上圖像處理和計(jì)算機(jī)視覺(jué)應(yīng)用程序的開(kāi)發(fā)時(shí)間；

滿(mǎn)足嵌入式系統(tǒng)在圖像處理和計(jì)算機(jī)視覺(jué)功能方面最常見(jiàn)的需求；

通過(guò)盡可能封裝和隱藏典型圖像處理和計(jì)算機(jī)視覺(jué)操作的復(fù)雜性，簡(jiǎn)化并加快應(yīng)用程序的開(kāi)發(fā)。

STM32IPL在功能上被劃分為各種模塊，如下圖所示：

這些模塊可以虛擬分組在以下宏組中：

庫(kù)初始化和反初始化組（深綠色模塊）；

包括圖像創(chuàng)建、初始化、釋放等功能的組（淺綠色模塊）；

包括圖像變換功能的組，如：過(guò)濾、顏色轉(zhuǎn)換、縮放、形態(tài)算子、扭曲等（深黃色模塊）；

包含特征和對(duì)象提取功能的組，如：邊緣和斑點(diǎn)檢測(cè)器、霍夫變換等（淺黃色模塊）；

包括對(duì)直線(xiàn)、矩形、橢圓等進(jìn)行操作的功能組（深藍(lán)色模塊）；

包括圖像讀寫(xiě)功能的組（淺藍(lán)色模塊）；

包括在圖像中繪制圖形元素的功能組（深灰色模塊）；

最后一組，包括用于計(jì)算積分圖像和圖像統(tǒng)計(jì)的剩余模塊（淺灰色模塊）。

下圖展示了STM32IPL中提供的圖像處理功能示例：

原圖

高斯濾波后

經(jīng)過(guò)Canny邊緣檢測(cè)算法后

鏡像翻轉(zhuǎn)后

旋轉(zhuǎn)180°后

軟件架構(gòu)

一個(gè)典型的使用STM32IPL的STM32應(yīng)用程序的軟件架構(gòu)如下所示：

STM32IPL位于BSP和HAL之上的中間件內(nèi)?；旧?，幾乎所有的STM32IPL函數(shù)都與平臺(tái)無(wú)關(guān)，除了以下兩種函數(shù)，它們利用了一些STM32 MCU提供的硬件功能，而這些硬件功能只在部分而不是全部STM32 MCU里提供：

?對(duì)文件執(zhí)行讀寫(xiě)操作的I/O函數(shù)。特別是用于處理所支持的圖像文件格式（如 BMP、PPM、PGM 和 JPEG）的兩個(gè)讀/寫(xiě)函數(shù)。這些函數(shù)依賴(lài)于以下作為STM32Cube中間件組件的第三方開(kāi)源庫(kù)：

FatFs，在FatFs文件系統(tǒng)上提供讀/寫(xiě)操作。例如，在microSD卡上讀寫(xiě)圖像。

LibJPEG，提供JPEG編碼和解碼功能。

?通過(guò)利用STM32 DMA2D（用于圖形操作的硬件加速器）在屏幕上快速繪制圖像的函數(shù)。

高級(jí)功能示例

本節(jié)將以?xún)蓚€(gè)高級(jí)功能為例來(lái)說(shuō)明其工作原理以及其應(yīng)用在圖像上的效果：霍夫變換和目標(biāo)檢測(cè)。

霍夫變換

霍夫變換是一種特征提取方法，用于檢測(cè)圖像中的線(xiàn)條和圓形等簡(jiǎn)單形狀。這里的“簡(jiǎn)單”形狀是指只需要幾個(gè)參數(shù)就能表示的形狀。例如，一條線(xiàn)可以用兩個(gè)參數(shù)（斜率、截距）來(lái)表示，而一個(gè)圓有三個(gè)參數(shù)——圓心坐標(biāo)和半徑。霍夫變換在尋找圖像中這種形狀方面有出色的表現(xiàn)。

STM32IPL支持兩種霍夫變換函數(shù)：

STM32Ipl_FindLines()，通過(guò)霍夫變換找到圖像中的所有無(wú)限線(xiàn)。

STM32Ipl_FindCircles()，通過(guò)霍夫變換在圖像中查找圓。

下面兩張照片顯示了使用霍夫變換進(jìn)行線(xiàn)條檢測(cè)的結(jié)果。

原圖

通過(guò)霍夫變換進(jìn)行線(xiàn)條檢測(cè)后

請(qǐng)注意，檢測(cè)到的線(xiàn)的質(zhì)量很大程度上取決于邊緣圖的質(zhì)量。因此，在現(xiàn)實(shí)世界中，霍夫變換通常在當(dāng)您可以控制環(huán)境并因此獲得一致的邊緣圖，或者當(dāng)您可以針對(duì)您正在尋找的特定類(lèi)型的邊緣來(lái)訓(xùn)練邊緣檢測(cè)器時(shí)使用。

下面的另外兩張照片顯示了使用霍夫變換進(jìn)行圓檢測(cè)的結(jié)果。同樣，結(jié)果的質(zhì)量很大程度上取決于您可以找到的邊緣的質(zhì)量，以及您對(duì)要檢測(cè)的圓的大小有多少先驗(yàn)知識(shí)。

原圖

通過(guò)霍夫變換進(jìn)行圓檢測(cè)后

目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是一種計(jì)算機(jī)視覺(jué)技術(shù)，可以識(shí)別和定位圖像或視頻中的對(duì)象。常用于自動(dòng)駕駛汽車(chē)、機(jī)器人、面部識(shí)別等許多應(yīng)用場(chǎng)景。

STM32IPL提供三種函數(shù)用于目標(biāo)檢測(cè)：

STM32Ipl_LoadFaceCascade()，加載面部級(jí)聯(lián)。

STM32Ipl_LoadEyeCascade()，加載眼部級(jí)聯(lián)。

STM32Ipl_DetectObject()，檢測(cè)特定級(jí)聯(lián)描述的對(duì)象。

以下照片顯示了面部檢測(cè)和眼部檢測(cè)功能的結(jié)果：

原圖

眼部及面部檢測(cè)后

最后，要獲得STM32IPL庫(kù)，用戶(hù)需下載最新的FP-AI-VISION1功能包，然后該庫(kù)便可以在以下路徑找到：

FP-AI-VISION1_V3.1.0MiddlewaresSTSTM32_ImageProcessing_Library

審核編輯 ：李倩