構(gòu)建一套可靠的視覺(jué)檢測(cè)流程來(lái)實(shí)現(xiàn)缺陷檢測(cè)和質(zhì)量控制面臨諸多挑戰(zhàn)，例如針對(duì)特定領(lǐng)域定制通用視覺(jué) AI 模型、在算力受限的邊緣設(shè)備上優(yōu)化模型規(guī)模，以及高效實(shí)時(shí)部署以實(shí)現(xiàn)最大的推理吞吐量。

NVIDIA Metropolis是一個(gè)面向視覺(jué) AI 智能體與應(yīng)用的開(kāi)發(fā)平臺(tái)，旨在幫助解決上述挑戰(zhàn)。NVIDIA Metropolis 提供了一個(gè)統(tǒng)一的框架，包含用于訓(xùn)練和優(yōu)化視覺(jué) AI 基礎(chǔ)模型的NVIDIA TAO 6，以及端到端流分析工具套件NVIDIA DeepStream 8。

DeepStream 8.0 為開(kāi)發(fā)者提供推理構(gòu)建器等強(qiáng)大工具，簡(jiǎn)化工作流的創(chuàng)建，并提升復(fù)雜環(huán)境中的跟蹤準(zhǔn)確性。TAO 6 通過(guò)領(lǐng)域適應(yīng)性、自監(jiān)督微調(diào)和知識(shí)蒸餾，充分釋放基礎(chǔ)模型的潛力。借助 NVIDIA DeepStream 和 NVIDIA TAO，開(kāi)發(fā)者正在推動(dòng)視覺(jué) AI 從快速原型設(shè)計(jì)到大規(guī)模部署的演進(jìn)。

本文將為您介紹如何利用 NVIDIA TAO 和 NVIDIA DeepStream 構(gòu)建端到端的實(shí)時(shí)視覺(jué)檢測(cè)工作流，具體步驟如下：

使用 TAO 進(jìn)行自監(jiān)督式微調(diào)，實(shí)現(xiàn)對(duì)領(lǐng)域特定未標(biāo)注數(shù)據(jù)的高效利用；

使用 TAO 知識(shí)蒸餾優(yōu)化基礎(chǔ)模型，以提高吞吐量和效率；

使用 DeepStream Inference Builder 進(jìn)行部署。

利用 NVIDIA TAO 規(guī)模化開(kāi)發(fā)基于視覺(jué)基礎(chǔ)模型的自定義模型：

NVIDIA TAO 支持端到端工作流程，可用于訓(xùn)練、調(diào)整和優(yōu)化面向特定領(lǐng)域用例的大型視覺(jué)基礎(chǔ)模型。該框架可依托微調(diào)微服務(wù)對(duì)視覺(jué)基礎(chǔ)模型進(jìn)行自定義，助力實(shí)現(xiàn)高精度和高性能。

使用 NVIDIA TAO 創(chuàng)建高精度、定制化的企業(yè)可直接使用的 AI 模型，為視覺(jué) AI 應(yīng)用提供支持

TAO 提供一系列強(qiáng)大的基礎(chǔ)骨干和任務(wù)頭，可針對(duì)工業(yè)視覺(jué)檢測(cè)等關(guān)鍵工作負(fù)載對(duì)模型進(jìn)行微調(diào)。在 TAO 6 中，兩個(gè)關(guān)鍵的基礎(chǔ)骨干是 C-RADIOv2（開(kāi)箱即用，精度領(lǐng)先）和 NV-DINOv2。TAO 同樣支持第三方模型，前提是其視覺(jué)骨干和任務(wù)頭架構(gòu)與 TAO 兼容。

為提高模型準(zhǔn)確性，TAO 支持多種模型自定義技術(shù)，例如監(jiān)督式微調(diào)（SFT）和自監(jiān)督式學(xué)習(xí)（SSL）。其次，利用 NVIDIA TAO 6，用戶(hù)可以利用自監(jiān)督學(xué)習(xí)技術(shù)，充分發(fā)掘未標(biāo)記圖像的巨大潛力，從而在標(biāo)記數(shù)據(jù)稀缺或采集成本高昂的情況下加速模型定制流程。

在實(shí)際場(chǎng)景中，此工作流意味著模型能夠從大量未標(biāo)記圖像中學(xué)習(xí)缺陷的細(xì)微特征，再通過(guò)有針對(duì)性的監(jiān)督式微調(diào)來(lái)優(yōu)化決策能力，即使在自定義的真實(shí)數(shù)據(jù)集上也能實(shí)現(xiàn)卓越的性能。

優(yōu)化視覺(jué)基礎(chǔ)模型以提高吞吐量：

NVIDIA TAO 利用從大型基礎(chǔ)模型中獲得的知識(shí)，通過(guò)“知識(shí)蒸餾”（Knowledge Distillation）技術(shù)，將其優(yōu)化為更小的模型尺寸。知識(shí)蒸餾通常能夠在不犧牲準(zhǔn)確性的前提下，將大型、高精度的教師模型壓縮為更小、更高效的學(xué)生模型。該過(guò)程的核心在于引導(dǎo)學(xué)生模型不僅模仿教師模型的最終預(yù)測(cè)，同時(shí)要學(xué)習(xí)其內(nèi)部特征表示和決策邊界，從而在資源受限的硬件上實(shí)現(xiàn)實(shí)際部署，并支持可擴(kuò)展的模型優(yōu)化。

NVIDIA TAO 進(jìn)一步拓展了知識(shí)蒸餾的能力，能夠穩(wěn)定支持多種蒸餾形式，包括骨干、logit 以及空間或特征蒸餾。TAO 的一項(xiàng)顯著特性是其專(zhuān)為物體檢測(cè)設(shè)計(jì)的單級(jí)蒸餾方法。借助這一簡(jiǎn)化流程，通常更小且更高效的學(xué)生模型能夠在統(tǒng)一的訓(xùn)練階段，直接從教師模型學(xué)習(xí)骨干特征表示以及任務(wù)特定的預(yù)測(cè)結(jié)果。這種方法在不犧牲精度的前提下，顯著降低了推理延遲和模型尺寸。

使用 DeepStream 8 Inference Builder 打包和部署模型：

全新的 NVIDIA DeepStream 8 Inference Builder 是一款低代碼工具，可將模型設(shè)想快速轉(zhuǎn)化為獨(dú)立應(yīng)用或可部署的微服務(wù)。

Inference Builder 的設(shè)計(jì)目標(biāo)是根據(jù)用戶(hù)提供的模型和配置文件，自動(dòng)生成推理服務(wù)代碼、API 層以及部署所需的構(gòu)件。通過(guò)簡(jiǎn)單的配置，即可處理與服務(wù)器、請(qǐng)求處理和數(shù)據(jù)流相關(guān)的復(fù)雜任務(wù)，而無(wú)需手動(dòng)編寫(xiě)大量重復(fù)性代碼。