計(jì)算機(jī)視覺(jué)識(shí)別的定義

計(jì)算機(jī)視覺(jué)識(shí)別是一種人工智能技術(shù)，旨在使計(jì)算機(jī)系統(tǒng)從數(shù)字圖像、視頻等視覺(jué)信息中識(shí)別和提取有意義信息的能力。它通過(guò)利用圖像處理、機(jī)器學(xué)習(xí)和其他相關(guān)技術(shù)來(lái)實(shí)現(xiàn)這一目標(biāo)，并可以完成多種任務(wù)，例如圖像識(shí)別、物體檢測(cè)、人臉識(shí)別等。計(jì)算機(jī)視覺(jué)技術(shù)在各種行業(yè)中都有著廣泛的應(yīng)用，如自動(dòng)駕駛、安全監(jiān)控、醫(yī)學(xué)診斷等。

計(jì)算機(jī)視覺(jué)識(shí)別是如何工作的？

計(jì)算機(jī)視覺(jué)識(shí)別的工作方式主要通過(guò)以下幾個(gè)步驟：

1. 圖像預(yù)處理：對(duì)圖像進(jìn)行預(yù)處理，如去噪、校正圖像像素等，以確保圖像質(zhì)量。

2.特征提取：通過(guò)各種圖像處理技術(shù)，從圖像中提取有用的特征信息，如邊緣、輪廓、顏色值等。

3. 特征分類：使用機(jī)器學(xué)習(xí)算法對(duì)提取的特征進(jìn)行分類，以便對(duì)圖像中的物體進(jìn)行識(shí)別。

4. 識(shí)別結(jié)果輸出：根據(jù)分類結(jié)果，輸出識(shí)別結(jié)果，如圖像中的物體類型、人臉識(shí)別等。

每一個(gè)步驟都需要使用合適的算法和技術(shù)，才能確保視覺(jué)識(shí)別輸出結(jié)果準(zhǔn)確性和高效性。

下圖左側(cè)是亞伯拉罕·林肯灰度圖像緩沖區(qū)的簡(jiǎn)單插圖，每個(gè)像素由一組 8 位數(shù)字表示，范圍從 0（黑色）到 255（白色），右側(cè)是識(shí)別圖像時(shí)軟件識(shí)別出的不同的顏色值。

計(jì)算機(jī)視覺(jué)識(shí)別的主要應(yīng)用功能

1、圖像分類

顧名思義就是將圖像進(jìn)行類別篩選，通過(guò)深度學(xué)習(xí)方法識(shí)別圖片屬于哪種分類類別，其主要重點(diǎn)在于一張圖像只包含一種分類類別，即使該影像內(nèi)容可能有多個(gè)目標(biāo)，所以單純圖像分類的應(yīng)用并不普遍。

不過(guò)由于單一目標(biāo)識(shí)別對(duì)深度學(xué)習(xí)算法來(lái)說(shuō)是正確率最高的，所以實(shí)際上很多應(yīng)用會(huì)先通過(guò)目標(biāo)檢測(cè)方法找到該目標(biāo)，再縮小擷取影像范圍進(jìn)行圖像分類。所以只要是目標(biāo)檢測(cè)可應(yīng)用的范圍，通常也會(huì)使用圖像分類方法。

圖像分類，需要先對(duì)本地圖像進(jìn)行邊框標(biāo)記，這個(gè)操作需要手動(dòng)標(biāo)記才能完成，這樣就催生出一個(gè)職業(yè) - 人工智能標(biāo)注師，比如下圖左側(cè)是原始圖片，右圖是被標(biāo)記過(guò)的圖像，就會(huì)把它標(biāo)注到貓的分類中。

2、目標(biāo)監(jiān)測(cè)

一張圖像內(nèi)可有一或多個(gè)目標(biāo)物，目標(biāo)物也可以是屬于不同類別。算法主要能達(dá)到兩種目的：找到目標(biāo)坐標(biāo)及識(shí)別目標(biāo)類別。

簡(jiǎn)單來(lái)說(shuō)，就是除了需要知道目標(biāo)是什么，還需要知道它在哪個(gè)位置。

目標(biāo)檢測(cè)應(yīng)用非常普遍，包含前面提到的人臉識(shí)別相關(guān)技術(shù)結(jié)合應(yīng)用，或是制造業(yè)方面的瑕疵檢測(cè)，甚至醫(yī)院用于X光、超音波進(jìn)行特定身體部位的病況檢測(cè)等。

3、語(yǔ)義分割

算法會(huì)針對(duì)一張圖像中的每個(gè)像素進(jìn)行識(shí)別，也就是說(shuō)不同于目標(biāo)檢測(cè)，語(yǔ)義分割可以正確區(qū)別各目標(biāo)的邊界像素，簡(jiǎn)單來(lái)說(shuō)，語(yǔ)義分割就是像素級(jí)別的圖像分類，針對(duì)每個(gè)像素進(jìn)行分類。當(dāng)然這類應(yīng)用的模型就會(huì)需要較強(qiáng)大的GPU和花較多時(shí)間進(jìn)行訓(xùn)練。

實(shí)例分割是語(yǔ)義分割的升級(jí)版本。它不是將相同的像素值分配給同一類中的所有對(duì)象，而是分段并顯示同一類的不同實(shí)例。如果在圖像中檢測(cè)到多個(gè)相同的對(duì)象，則會(huì)相應(yīng)地對(duì)其進(jìn)行標(biāo)記，如下圖所示，綿羊 1、綿羊 2 和綿羊 3會(huì)被單獨(dú)分割識(shí)別出來(lái)，它通常用于計(jì)數(shù)。

流行的計(jì)算機(jī)視覺(jué)庫(kù)和框架

MMDetection

MMDetection是一個(gè)基于PyTorch的開(kāi)源對(duì)象檢測(cè)工具箱。它由訓(xùn)練配方、預(yù)訓(xùn)練模型和數(shù)據(jù)集組成。它運(yùn)行在Linux，Windows和macOS上，需要Python 3.6+，CUDA 9.2+和PyTorch 1.5+。他們還發(fā)布了用于計(jì)算機(jī)視覺(jué)研究的庫(kù)mmcv。通過(guò)模塊調(diào)用的方法，我們可以用少量的代碼實(shí)現(xiàn)新的算法。大大提高代碼復(fù)用率。

邊緣設(shè)備部署

MMDeploy是一個(gè)開(kāi)源深度學(xué)習(xí)模型部署工具集，它是OpenMMLab項(xiàng)目的一部分，如果你想了解如何在 NVIDIA Jetson 系列邊緣平臺(tái)（如 Seeed 的 reComputer）上安裝 MMDeploy?？梢酝ㄟ^(guò)部署指南來(lái)學(xué)習(xí)部署過(guò)程。

OpenCV

OpenCV是最受歡迎的開(kāi)源計(jì)算機(jī)視覺(jué)和ML軟件庫(kù)之一。它旨在為計(jì)算機(jī)視覺(jué)應(yīng)用程序提供通用基礎(chǔ)架構(gòu)。它可以在Windows，Linux，Android和macOS上運(yùn)行，可用于Python，Java，C++和MATLAB。

邊緣設(shè)備部署

我們的合作伙伴 alwaysAI 將 OpenCV 構(gòu)建為邊緣計(jì)算環(huán)境的核心部分。這意味著在每個(gè) alwaysAI 應(yīng)用程序中，您都可以添加導(dǎo)入 cv2 并在您的應(yīng)用程序中使用 OpenCV。alwaysAI 圍繞 OpenCV 構(gòu)建了一套工具，以實(shí)現(xiàn)端到端流程的無(wú)縫銜接，并解決了使用邊緣設(shè)備時(shí)一些常見(jiàn)痛點(diǎn)。

NVIDIA VPI 邊緣部署

NVIDIA 視覺(jué)編程接口 （VPI） 是一個(gè)軟件庫(kù)，可在 NVIDIA NVIDIA Jetson 系列邊緣平臺(tái)設(shè)備中，實(shí)現(xiàn)計(jì)算機(jī)視覺(jué)和圖像處理算法。VPI 為 CPU 和 NVIDIA CUDA 算法實(shí)現(xiàn)提供了統(tǒng)一的 API，以及 VPI 和 OpenCV 以及 CUDA 之間的互操作性。

TensorFlow

TensorFlow是一個(gè)端到端的開(kāi)源ML平臺(tái)，能夠執(zhí)行無(wú)數(shù)的任務(wù)，包括計(jì)算機(jī)視覺(jué)。TensorFlow Lite允許您在移動(dòng)和邊緣設(shè)備上運(yùn)行模型，而TensorFlow JS適用于Web。它運(yùn)行在Windows，macOS和WSL2上，支持Python，C，C++，Java等。

邊緣設(shè)備部署

在小型或微型處理設(shè)備上部署機(jī)器學(xué)習(xí)，主要是通過(guò)TensorFlow Lite 框架來(lái)進(jìn)行部署，TensorFlow Lite 主要對(duì)微型機(jī)器學(xué)習(xí)功能進(jìn)行了優(yōu)化，重點(diǎn)關(guān)注延遲、隱私、連接、大小和功耗。

邊緣計(jì)算硬件設(shè)備

人工智能AI正在加快速度從“云端”走向“邊緣”，進(jìn)入到越來(lái)越小的小型或微型控制設(shè)備中，在終端和邊緣側(cè)的微處理器上實(shí)現(xiàn)機(jī)器學(xué)習(xí)，下面介紹兩款邊緣計(jì)算硬件設(shè)備。

SeeedreTerminal

reTerminal是 Raspberry Pi一體機(jī)，由 Raspberry Pi計(jì)算模塊（CM4）提供支持，集成了一個(gè)IPS面板式多點(diǎn)觸摸屏，配備雙頻2.4GHz / 5GHz Wi-Fi和藍(lán)牙5.0，預(yù)裝了基于Raspberry Pi的Linux系統(tǒng)，提供存儲(chǔ)4 GB RAM和32 GB eMMC。通過(guò)模塊化設(shè)計(jì)，該機(jī)配備了多個(gè)可訪問(wèn)組件和高速連接器?？梢愿玫牟渴餉I開(kāi)發(fā)應(yīng)用程序，也可以執(zhí)行適合作為工業(yè)設(shè)施的工業(yè)級(jí)功能。

使用Seeed reTerminal 設(shè)備快速部署TensorFlow Lite 框架，具體方法請(qǐng)看下面的地址：

reComputer for Jetson

Jetson 的 reComputer 系列是采用 NVIDIA Advanced AI 嵌入式系統(tǒng)構(gòu)建的緊湊型邊緣計(jì)算機(jī)：J10（Nano 4GB）和 J20（Jetson Xavier NX 8GB 和 Jetson Xavier 16GB）。

憑借豐富的擴(kuò)展模塊、工業(yè)外設(shè)和熱管理，reComputer for Jetson 已準(zhǔn)備好通過(guò)將流行的 DNN 模型和 ML 框架部署到邊緣并以高性能進(jìn)行推理來(lái)幫助您加速和擴(kuò)展下一代 AI 產(chǎn)品。

審核編輯：劉清