在計(jì)算機(jī)視覺(jué)領(lǐng)域，目標(biāo)檢測(cè)是一項(xiàng)關(guān)鍵技術(shù)，旨在識(shí)別圖像或視頻中感興趣物體的位置與類(lèi)別。傳統(tǒng)的閉集檢測(cè)長(zhǎng)期占據(jù)主導(dǎo)地位，但近年來(lái)，開(kāi)放詞匯檢測(cè)（Open-Vocabulary Object Detection-OVOD 或者 Open-Set Object Detection-OSOD）嶄露頭角，為目標(biāo)檢測(cè)帶來(lái)了新的活力與可能性。與閉集檢測(cè)相比，開(kāi)放詞匯檢測(cè)打破了檢測(cè)類(lèi)別固定的“枷鎖”，它在訓(xùn)練時(shí)利用豐富多樣的文本 - 區(qū)域?qū)Γ╰ext-region pairs）數(shù)據(jù)，將文本作為類(lèi)別標(biāo)簽，大大拓寬了可檢測(cè)的范圍。尤其是在機(jī)器人感受周?chē)h(huán)境的任務(wù)中，能夠起到極大的幫助。

目前主流的開(kāi)放詞匯檢測(cè)算法有Grounding-DINO系列和YOLO-World。在海量的私有數(shù)據(jù)集的加持下，前者具有非常強(qiáng)大的檢測(cè)能力，精度遙遙領(lǐng)先，其模型依賴(lài)參數(shù)量較大的Transformer結(jié)構(gòu)，實(shí)時(shí)性較弱。后者依賴(lài)輕量級(jí)的Convolution結(jié)構(gòu)，能夠達(dá)到實(shí)時(shí)推理的效率，精度上依然不錯(cuò)。

DOSOD（Decoupled Open-Set Object Detection）是地瓜機(jī)器人最新發(fā)布的開(kāi)放詞匯目標(biāo)檢測(cè)算法，力求在低算力邊緣端實(shí)現(xiàn)更高的推理效率，同時(shí)帶來(lái)比YOLO-World更具競(jìng)爭(zhēng)力的精度表現(xiàn)。在算法上，DOSOD采用了獨(dú)特的解耦特征對(duì)齊策略，摒棄了傳統(tǒng)的圖像-文本交互方式，通過(guò)基于MLPs的特征適配模塊對(duì)圖像與文本的特征進(jìn)行優(yōu)化與對(duì)齊，進(jìn)一步提升了模型的推理效率和精度。

實(shí)驗(yàn)結(jié)果顯示，DOSOD在多個(gè)公開(kāi)數(shù)據(jù)集（如LVIS）上的表現(xiàn)超越了YOLO-World-v2，并在邊緣AI計(jì)算平臺(tái)上展現(xiàn)了壓倒性的效率優(yōu)勢(shì)。

文章開(kāi)源地址：https://arxiv.org/abs/2412.14680

代碼開(kāi)源地址：https://github.com/D-Robotics-AI-Lab/DOSOD

文章由地瓜機(jī)器人應(yīng)用算法部，中科院自動(dòng)化所多模態(tài)人工智能系統(tǒng)全國(guó)重點(diǎn)實(shí)驗(yàn)室，蘇州大學(xué)未來(lái)學(xué)院，上?？萍即髮W(xué)信息科學(xué)技術(shù)學(xué)院聯(lián)合出品。

DOSOD的基本原理

目前主流的開(kāi)放詞匯檢測(cè)對(duì)齊策略主要分為以下三種：

(a) 教師 - 學(xué)生蒸餾方法

• 描述：利用 VLM（視覺(jué)語(yǔ)言模型）的文本編碼器生成的文本嵌入來(lái)監(jiān)督圖像特征和檢測(cè)器特征的對(duì)齊。也可以通過(guò)裁剪圖像區(qū)域來(lái)對(duì)齊特征。
• 總結(jié)：通過(guò) VLM 的文本編碼器來(lái)指導(dǎo)圖像和檢測(cè)器特征的對(duì)齊。

(b) 基于交互的對(duì)齊策略

• 描述：文本嵌入與檢測(cè)器骨干網(wǎng)絡(luò)提取的圖像特征進(jìn)行交互，以實(shí)現(xiàn)對(duì)齊。
• 總結(jié)：通過(guò)文本嵌入與圖像特征的交互來(lái)實(shí)現(xiàn)特征對(duì)齊。

(c) 提出的解耦對(duì)齊策略

• 描述：在不進(jìn)行交互的情況下對(duì)齊特征，通過(guò)視覺(jué) - 語(yǔ)言特征適配來(lái)實(shí)現(xiàn)。
• 總結(jié)：采用解耦方式，不依賴(lài)交互來(lái)進(jìn)行特征對(duì)齊。

DOSOD（Decoupled Open-Set Object Detection） 屬于第三種開(kāi)放詞匯檢測(cè)對(duì)齊策略——解耦對(duì)齊策略。該方法的核心思想是通過(guò)將文本和圖像模態(tài)的特征解耦，以實(shí)現(xiàn)更高效的對(duì)齊過(guò)程，從而在保證檢測(cè)精度的同時(shí)大幅提升推理速度。

在此基礎(chǔ)上，DOSOD洞察到了閉集檢測(cè)與開(kāi)放詞匯檢測(cè)之間的本質(zhì)聯(lián)系，提出了全新的結(jié)構(gòu)框架（如上圖所示）。具體來(lái)說(shuō)，DOSOD將傳統(tǒng)分類(lèi)分支最后的卷積操作等價(jià)地解構(gòu)為兩個(gè)模態(tài)的特征對(duì)齊操作，從而激發(fā)出解耦的特征學(xué)習(xí)和共同空間對(duì)齊的結(jié)構(gòu)。

在該框架中，類(lèi)別標(biāo)簽文本首先通過(guò)一個(gè)文本編碼器（來(lái)自VLM）生成初步的Text Embedding，然后經(jīng)過(guò)一個(gè)基于MLPs的特征適應(yīng)模塊，對(duì)Text Embedding進(jìn)行特征優(yōu)化，為Joint Space中的對(duì)齊操作做準(zhǔn)備。

在圖像側(cè)，DOSOD使用經(jīng)典的單階段目標(biāo)檢測(cè)器（文中使用了YOLOv8）來(lái)提取圖像的多尺度特征圖。每個(gè)特征點(diǎn)表示圖像中的一個(gè)區(qū)域特征。最后，在Joint Space中，通過(guò)計(jì)算Text Embedding與Region Feature之間的相似度，從而完成特征對(duì)齊。

DOSOD的實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)部分，DOSOD在公開(kāi)數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練，并在LVIS和COCO數(shù)據(jù)集上進(jìn)行了Zero-shot驗(yàn)證。DOSOD均擁有優(yōu)秀的精度表現(xiàn)：

• 在LVIS數(shù)據(jù)集上，相較于YOLO-World-v2，DOSOD精度全面領(lǐng)先，并與YOLO-World-v1不分伯仲。

• 在COCO數(shù)據(jù)集上，DOSOD整體精度要略低于YOLO-World，但YOLO-World-v2的精度微高于YOLO-World-v1，也一定程度上說(shuō)明，COCO由于詞匯豐富程度較低，不太適用于開(kāi)放詞匯檢測(cè)任務(wù)評(píng)測(cè)。

在推理速度上，通過(guò)將DOSOD與YOLO-World在NVIDIA RTX 4090和D-Robotics RDK X5上進(jìn)行全面對(duì)比，我們可以看到：

• DOSOD在主流的服務(wù)器級(jí)別的芯片上，推理效率是顯著高于YOLO-World。

• 在邊緣側(cè)的AI計(jì)算平臺(tái)上，DOSOD以碾壓式的效率提升，遠(yuǎn)遠(yuǎn)超越Y(jié)OLO-World。

DOSOD的應(yīng)用效果

DOSOD開(kāi)放詞匯檢測(cè)算法有著廣泛的應(yīng)用場(chǎng)景，既能用于常規(guī)檢測(cè)任務(wù)里的目標(biāo)檢測(cè)，也可以應(yīng)用在特殊場(chǎng)景下長(zhǎng)尾目標(biāo)類(lèi)型的檢測(cè)任務(wù)當(dāng)中。針對(duì)某些極端長(zhǎng)尾的目標(biāo)類(lèi)型，只需收集少量相關(guān)數(shù)據(jù)進(jìn)行微調(diào)，就能顯著提高模型的穩(wěn)定性和檢測(cè)效果。

• DOSOD 在常規(guī)目標(biāo)檢測(cè)上的檢測(cè)效果

在閉集目標(biāo)檢測(cè)任務(wù)中，COCO數(shù)據(jù)集預(yù)先定義了80個(gè)固定類(lèi)別。我們可以看到，在經(jīng)過(guò)大數(shù)據(jù)量的開(kāi)放詞匯數(shù)據(jù)集預(yù)訓(xùn)練后，DOSOD能夠檢測(cè)出諸多長(zhǎng)尾類(lèi)別，如圖2左下角的“heater”，圖4中的“shoe”和“wheel”，而這些詞匯并未包含在COCO數(shù)據(jù)集的80個(gè)類(lèi)別之內(nèi)。

• DOSOD 在特殊場(chǎng)景的長(zhǎng)尾類(lèi)別上的檢測(cè)效果

以下展示的是掃地機(jī)視角下的圖像，任務(wù)要求是檢測(cè)出地面上的各類(lèi)污漬或障礙物，這些類(lèi)別并不是常規(guī)目標(biāo)檢測(cè)任務(wù)中的標(biāo)準(zhǔn)類(lèi)別。通過(guò)少量數(shù)據(jù)的微調(diào)，DOSOD成功識(shí)別了這些特殊類(lèi)別，為在該場(chǎng)景中準(zhǔn)確檢測(cè)出多樣化的長(zhǎng)尾類(lèi)別發(fā)揮了關(guān)鍵作用。

DOSOD作為一款新興的開(kāi)放詞匯檢測(cè)算法，憑借創(chuàng)新的解耦特征對(duì)齊策略，在提升推理效率的同時(shí)，成功地保證了精度，展示出了極強(qiáng)的應(yīng)用潛力。未來(lái)，隨著計(jì)算資源的提升與算法的不斷優(yōu)化，DOSOD有望在機(jī)器人、自動(dòng)駕駛、智能家居等領(lǐng)域提供更加高效精準(zhǔn)的目標(biāo)檢測(cè)解決方案。

作為地瓜機(jī)器人前沿算法研究的最新成果，DOSOD不僅在精度上超越了對(duì)標(biāo)方法，更成功解決了推理效率與低算力設(shè)備適應(yīng)性之間的挑戰(zhàn)，為智能機(jī)器人技術(shù)的普及與發(fā)展提供了有力支持。

未來(lái)，地瓜機(jī)器人將秉承“成為機(jī)器人時(shí)代的Wintel”的品牌初心，持續(xù)與客戶(hù)一同深入應(yīng)用場(chǎng)景，在提供擁有極致性能表現(xiàn)的硬件的同時(shí)，為行業(yè)客戶(hù)和開(kāi)發(fā)者提供豐富的具有實(shí)用價(jià)值的算法，加速機(jī)器人技術(shù)的落地和廣泛應(yīng)用。