在本篇工作中，研究者探索了一種統(tǒng)一的學(xué)習(xí)方法，通過(guò)考慮多粒度的不確定性來(lái)同時(shí)對(duì)粗粒度和細(xì)粒度的圖像檢索進(jìn)行建模。論文的方法集成了不確定性建模和不確定性正則化來(lái)提高召回率并增強(qiáng)檢索過(guò)程，在三個(gè)公共數(shù)據(jù)集FashionIQ、Fashion200k 和 Shoes上，所提出的方法在baseline上分別提高了 +4.03%、+ 3.38% 和 + 2.40% Recall@50。

論文題目： Composed Image Retrieval with Text Feedback via Multi-Grained Uncertainty Regularization 論文鏈接： https://arxiv.org/abs/2211.07394 論文代碼： https://github.com/Monoxide-Chen/uncertainty_retrieval

一、背景

典型的檢索過(guò)程包含兩個(gè)步驟，即粗粒度檢索和細(xì)粒度檢索。粗粒度檢索利用簡(jiǎn)短或不精確的描述查詢(xún)圖像，而細(xì)粒度檢索則需要更多細(xì)節(jié)進(jìn)行一對(duì)一映射。

之前工作有什么痛點(diǎn)？

1. 傳統(tǒng)的圖像檢索系統(tǒng)要求用戶(hù)提前提供準(zhǔn)確的查詢(xún)圖像，通常是不好獲得；而添加文本反饋，用戶(hù)則可以對(duì)查詢(xún)圖像進(jìn)行的修改，來(lái)逐漸細(xì)化他們的搜索。

2. 現(xiàn)有的組合搜索方法通常側(cè)重于在訓(xùn)練過(guò)程中優(yōu)化嚴(yán)格的成對(duì)距離，這與一對(duì)多粗粒度測(cè)試設(shè)置不同。過(guò)多關(guān)注一對(duì)一度量學(xué)習(xí)會(huì)削弱模型對(duì)潛在候選圖片的召回能力。

二、方法

1、總覽

在這篇論文中，研究者不追更精細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)，而是采用一種新的學(xué)習(xí)策略。因此，主要遵循現(xiàn)有的工作CosMo[1]來(lái)構(gòu)建網(wǎng)絡(luò)以進(jìn)行公平比較，更多的結(jié)構(gòu)細(xì)節(jié)在論文中進(jìn)行了提供。

給定源圖像 和用于修改的文本 ，我們通過(guò)Compositor組合 和 得到了組合特征 。同時(shí)，我們通過(guò)與源圖像相同的Image Encoder提取了目標(biāo)圖像 的視覺(jué)特征 。我們的主要貢獻(xiàn)是通過(guò)Augmenter進(jìn)行不確定性建模，以及對(duì)粗匹配進(jìn)行的不確定性正則化。? ?

2、不確定性建模

如上圖所示，不再采用嚴(yán)格的一對(duì)一匹配，而是促使模型專(zhuān)注于一對(duì)多匹配，即從細(xì)粒度過(guò)渡到粗粒度。因此，首先引入了一個(gè)用于噪聲增強(qiáng)的Augmenter來(lái)生成抖動(dòng)，這個(gè)模塊直接作用于最終的特征空間。具體而言，Augmenter向目標(biāo)特征 添加原始特征分布的高斯噪聲。高斯噪聲的均值 和標(biāo)準(zhǔn)差 是從原始特征 計(jì)算得出的。因此，最終的抖動(dòng)特征 可以表示為：

其中， 和 是與輸入目標(biāo)特征具有相同形狀的噪聲向量，，而 。通過(guò)這種方式可以使特征在有限程度上波動(dòng)，接近于原始分布。

3、不確定性正則化

現(xiàn)有的方法通常采用InfoNCE損失函數(shù)，可以看作是一種batch分類(lèi)損失函數(shù)（batch-wise classification loss）。其簡(jiǎn)單表述如下：

對(duì)于一個(gè)具有 個(gè)樣本的batch，給定圖文合成特征 和目標(biāo)特征 ，InfoNCE損失同時(shí)最大化自相似性 并最小化batch中與其他樣本相似性 ?？梢钥闯?，InfoNCE損失僅關(guān)注一對(duì)一的精細(xì)粒度匹配。在這項(xiàng)工作中旨在統(tǒng)一精細(xì)和粗粒度的匹配。由偶然不確定性（Aleatoric Uncertainty）[2]的啟發(fā)，給定兩種類(lèi)型的特征 和 ，不確定性正則化可以定義如下：? ?

為了優(yōu)化多粒度檢索性能，采用了細(xì)粒度損失 和論文提出的不確定性正則化 的組合。因此，總損失如下：

三、實(shí)驗(yàn)

1、實(shí)驗(yàn)設(shè)置

論文在多個(gè)數(shù)據(jù)集上（FashionIQ、Fashion200k、Shoes）測(cè)試了方法的準(zhǔn)確性，提升了召回率。代碼已經(jīng)公開(kāi)在github上。

2、實(shí)驗(yàn)結(jié)果

展示了一些論文結(jié)果，更多的實(shí)驗(yàn)結(jié)果和消融實(shí)驗(yàn)請(qǐng)參考論文。

在FashionIQ上的結(jié)果

在Fashion200k和Shoes上的結(jié)果

四、總結(jié)

總的來(lái)說(shuō)，該論文通過(guò)多粒度不確定性正則化的角度提出了一種新穎的通過(guò)文本反饋進(jìn)行組合圖像檢索的方法。該方法通過(guò)不確定性建模和正則化同時(shí)對(duì)粗粒度和精細(xì)粒度的檢索進(jìn)行建模，從而解決了現(xiàn)實(shí)世界圖像檢索中的訓(xùn)練和測(cè)試不一致性問(wèn)題。該方法生成抖動(dòng)特征以模擬不確定范圍，并根據(jù)波動(dòng)范圍自適應(yīng)地調(diào)整權(quán)重。與現(xiàn)有方法相比，所提出的方法在三個(gè)公共數(shù)據(jù)集上顯著提高了召回率。論文還討論了該方法在現(xiàn)實(shí)場(chǎng)景中的潛在應(yīng)用以及其對(duì)集成數(shù)據(jù)集的可擴(kuò)展性?？傮w而言，所提出的方法為通過(guò)文本反饋進(jìn)行組合圖像檢索面臨的挑戰(zhàn)提供了有希望的解決方案。