一、簡(jiǎn)介

由于大規(guī)模視覺(jué)語(yǔ)言預(yù)訓(xùn)練取得了令人矚目的進(jìn)展，最近的識(shí)別模型可以以驚人的高準(zhǔn)確度對(duì)任意對(duì)象進(jìn)行零樣本和開(kāi)放式分類。然而，將這種成功轉(zhuǎn)化為語(yǔ)義分割并不容易，因?yàn)檫@種密集的預(yù)測(cè)任務(wù)不僅需要準(zhǔn)確的語(yǔ)義理解，還需要良好的形狀描繪，而現(xiàn)有的視覺(jué)語(yǔ)言模型是通過(guò)圖像級(jí)別的語(yǔ)言描述進(jìn)行訓(xùn)練的。為了彌合這一差距，我們?cè)诒狙芯恐凶非缶哂行螤罡兄芰Φ牧銟颖菊Z(yǔ)義分割。受圖像分割文獻(xiàn)中經(jīng)典的譜方法的啟發(fā)，我們提出利用自監(jiān)督像素級(jí)特征構(gòu)建的拉普拉斯矩陣的特征向量來(lái)提升形狀感知分割性能。

盡管這種簡(jiǎn)單而有效的算法完全不使用已知類別的掩模，但我們證明它的表現(xiàn)優(yōu)于一種最先進(jìn)的形狀感知范式，在訓(xùn)練期間對(duì)齊地面實(shí)況和預(yù)測(cè)邊緣。我們還深入研究了在不同數(shù)據(jù)集上使用不同的骨干網(wǎng)絡(luò)所實(shí)現(xiàn)的性能提升，并得出了一些有趣且有結(jié)論性的觀察：形狀感知分割性能的提升與目標(biāo)掩模的形狀緊密性和對(duì)應(yīng)語(yǔ)言嵌入的分布都密切相關(guān)。

二、網(wǎng)絡(luò)架構(gòu)



圖1 SAZS的總體框架

零樣本語(yǔ)義分割的目標(biāo)是將語(yǔ)義分割任務(wù)擴(kuò)展到訓(xùn)練數(shù)據(jù)集中未出現(xiàn)的類別。引入額外的先驗(yàn)信息的一種潛在方法是利用預(yù)訓(xùn)練的視覺(jué)-語(yǔ)言模型，但是大多數(shù)這些模型都集中于圖像級(jí)別的預(yù)測(cè)，無(wú)法轉(zhuǎn)移到密集預(yù)測(cè)任務(wù)。為此，我們提出了一種名為“形狀感知零樣本語(yǔ)義分割（SAZS）”的新方法。

該方法利用了預(yù)訓(xùn)練的CLIP[1]模型中包含的豐富的語(yǔ)言先驗(yàn)信息，在訓(xùn)練期間對(duì)齊地面實(shí)況和預(yù)測(cè)邊緣。同時(shí)，利用自監(jiān)督像素級(jí)特征構(gòu)建的拉普拉斯矩陣的特征向量來(lái)提升形狀感知分割性能，并將其與像素級(jí)別的預(yù)測(cè)相結(jié)合。 我們的方法的模型框架如圖1所示。

輸入圖像首先通過(guò)圖像編碼器轉(zhuǎn)換為像素級(jí)嵌入，然后與預(yù)訓(xùn)練的CLIP[1]模型的文本編碼器獲得的預(yù)先計(jì)算的文本嵌入對(duì)齊（圖1中的A部分）。同時(shí)，圖像編碼器中的額外頭部用于在補(bǔ)丁中預(yù)測(cè)邊界，并針對(duì)分割地面真值中獲得的地面真值邊緣進(jìn)行優(yōu)化（圖1中的B部分）。此外，在推斷過(guò)程中，我們通過(guò)譜分析分解圖像并將輸出的特征向量與類別不可知的分割結(jié)果相結(jié)合（圖1中的C部分）。

我們將訓(xùn)練集表示為，測(cè)試集表示為,其中和分別表示輸入圖像和相應(yīng)的真實(shí)語(yǔ)義掩碼。S表示 I中的K個(gè)潛在標(biāo)簽，而表示測(cè)試期間未見(jiàn)過(guò)的類別。

在我們的設(shè)置中，這兩個(gè)集合嚴(yán)格互斥（即）。 在針對(duì)的進(jìn)行推斷之前，模型使用來(lái)自S的真實(shí)標(biāo)簽在上進(jìn)行訓(xùn)練。 這意味著在訓(xùn)練過(guò)程中從未看到測(cè)試集中的類別，使得任務(wù)在零樣本設(shè)置下進(jìn)行。一旦模型訓(xùn)練得當(dāng)，它應(yīng)該能夠泛化到未見(jiàn)過(guò)的類別，并在開(kāi)放世界中實(shí)現(xiàn)高效的目標(biāo)密集預(yù)測(cè)。

像素級(jí)別的視覺(jué)-語(yǔ)言對(duì)齊

我們采用擴(kuò)張殘差網(wǎng)絡(luò)（DRN[2]）和密集預(yù)測(cè)Transformer（DPT[3]）來(lái)將圖像編碼為像素級(jí)嵌入向量。同時(shí)，我們采用預(yù)訓(xùn)練的CLIP文本編碼器將來(lái)自S中K個(gè)類別的名稱映射到CLIP特征空間作為文本特征。其中，視覺(jué)特征和文本特征具有相同的維度D。

為了實(shí)現(xiàn)視覺(jué)-語(yǔ)言對(duì)齊，此前的工作[5]通過(guò)最小化像素和對(duì)應(yīng)語(yǔ)義類別之間的距離，同時(shí)最大化像素和其他類別之間的距離來(lái)實(shí)現(xiàn)。在像素級(jí)視覺(jué)和語(yǔ)言特征被嵌入同一特征空間的假設(shè)下，我們利用余弦相似度作為特征之間的量化距離度量，并提出對(duì)齊損失，它是所有像素上已見(jiàn)類別的交叉熵?fù)p失的總和：

其中，表示在位置上的像素視覺(jué)特征，表示第k個(gè)文本特征，表示像素 的類別的索引。

形狀約束

由于CLIP是在圖像級(jí)別任務(wù)上訓(xùn)練的，僅僅利用CLIP特征空間中的先驗(yàn)信息可能對(duì)密集預(yù)測(cè)任務(wù)不足夠。為了解決這個(gè)問(wèn)題，我們引入邊界檢測(cè)作為一個(gè)約束任務(wù)。受到之前工作[6]的啟發(fā)，我們通過(guò)優(yōu)化真實(shí)邊緣和特征圖中的邊緣之間的仿射變換，使其趨近于單位矩陣。

具體來(lái)說(shuō)，如圖1所示，我們提取視覺(jué)編碼器的中間特征，并將其劃分成塊。首先采用Sobel算子獲得邊緣對(duì)應(yīng)的真實(shí)標(biāo)簽。之后將特征塊輸入邊界頭進(jìn)行特征提取。我們利用訓(xùn)練好的形狀網(wǎng)絡(luò)（圖 1中的MLP）計(jì)算第i個(gè)特征塊的變換矩陣，該矩陣用于將處理后的特征塊與邊緣的真實(shí)注釋之間進(jìn)行仿射變換。我們使用形狀損失來(lái)優(yōu)化仿射變換矩陣與單位矩陣之間的差異： 其中T表示特征塊數(shù)量，表示Frobenius范數(shù)。

此外，我們還計(jì)算了整張?zhí)卣鲌D的預(yù)測(cè)邊緣掩碼與相應(yīng)的真實(shí)標(biāo)注之間的二元交叉熵?fù)p失 ，以進(jìn)一步優(yōu)化邊緣檢測(cè)的性能。經(jīng)過(guò)邊緣檢測(cè)任務(wù)的聯(lián)合訓(xùn)練，視覺(jué)編碼器能夠利用輸入圖像中的形狀先驗(yàn)信息。后面的實(shí)驗(yàn)結(jié)果表明，由和引入的形狀感知帶來(lái)了顯著的性能提升。

最終，在訓(xùn)練過(guò)程中需要優(yōu)化的總損失為： 其中，和是損失權(quán)重。

自監(jiān)督譜分解

由于此前譜分解工作[7]的啟發(fā)，我們利用無(wú)監(jiān)督譜分解的方式將輸入圖像的拉普拉斯矩陣分解為具有邊界信息的特征段，并在圖1中的融合模塊中將這些特征段與神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果融合。 關(guān)聯(lián)矩陣的推導(dǎo)是譜分解的關(guān)鍵。首先提取預(yù)訓(xùn)練的自監(jiān)督Transformer（DINO[4]）最后一層的注意力塊中的特征。像素，的關(guān)聯(lián)矩陣定義為： 雖然從DINO特征中的關(guān)聯(lián)矩陣富含語(yǔ)義信息，但缺少包括顏色相似性和空間距離在內(nèi)的低層次近鄰信息。

我們首先將輸入圖像轉(zhuǎn)換為HSV顏色空間：，其中是各自的HSV坐標(biāo)，是像素i的空間坐標(biāo)。然后，像素關(guān)聯(lián)矩陣被定義為： 這里的表示二范數(shù)。整體的關(guān)聯(lián)矩陣定義為這兩者的加權(quán)和：

推理過(guò)程

在進(jìn)行推理時(shí)，我們首先使用預(yù)訓(xùn)練的CLIP文本編碼器對(duì)類別的進(jìn)行編碼，并獲得包含C個(gè)類別的文本特征，其中每個(gè)類別都用一個(gè)D維嵌入表示。然后我們利用訓(xùn)練好的視覺(jué)編碼器獲取視覺(jué)特征圖。最終的邏輯回歸值是視覺(jué)特征和文本特征之間余弦相似性的計(jì)算結(jié)果。同時(shí)，我們使用預(yù)訓(xùn)練的DINO以無(wú)監(jiān)督的方式提取語(yǔ)義特征，并計(jì)算出前K個(gè)譜特征區(qū)段（我們的實(shí)現(xiàn)中）。 最終的預(yù)測(cè)結(jié)果是由融合模塊生成的，該模塊根據(jù)和之間的最大IoU（表示為）從預(yù)測(cè)集中進(jìn)行選擇：

三、實(shí)驗(yàn)結(jié)果

我們分別在語(yǔ)義分割數(shù)據(jù)集PASCAL-5i[8]和COCO-20i[9]上進(jìn)行了定量和定性實(shí)驗(yàn)，分別如下圖所示



表1：SAZS在PASCAL-5i和COCO-20i上的定量結(jié)果



表2：SAZS跨數(shù)據(jù)零樣本分割的定量結(jié)果（在PASCAL-5i上測(cè)試）

SAZS在PASCAL-5i和COCO-20i上的定性結(jié)果分別如下圖所示。第一列和最后一列是不同類別的輸入圖像和相應(yīng)的地面真實(shí)語(yǔ)義掩碼。第二列和第三列分別是 SAZS 沒(méi)有和有形狀感知的預(yù)測(cè)結(jié)果。*表示在訓(xùn)練階段未曾出現(xiàn)的類別.



形狀感知分割驗(yàn)證指標(biāo)IoU與目標(biāo)掩模的形狀緊密性和對(duì)應(yīng)語(yǔ)言嵌入的分布關(guān)系如下圖所示。



四、總結(jié)

本文提出了一種新穎的框架，用于實(shí)現(xiàn)形狀感知的零樣本語(yǔ)義分割（簡(jiǎn)稱SAZS）。該框架利用大規(guī)模預(yù)訓(xùn)練視覺(jué)語(yǔ)言模型的特征空間中包含的豐富先驗(yàn)信息，同時(shí)通過(guò)在邊界檢測(cè)約束任務(wù)上進(jìn)行聯(lián)合訓(xùn)練。此外，采用自監(jiān)督譜分解來(lái)獲取圖像的特征向量，將其與網(wǎng)絡(luò)預(yù)測(cè)融合增強(qiáng)模型感知形狀的能力。相關(guān)性分析進(jìn)一步凸顯了形狀緊密度和語(yǔ)言嵌入分布對(duì)分割性能的影響。





審核編輯：劉清