在博士畢業(yè)就有10篇ACL一作的師兄指導(dǎo)下是種什么體驗

北京大學(xué)與騰訊等機構(gòu)的研究者們提出了多模態(tài)對齊框架 ——LanguageBind。該框架在視頻、音頻、文本、深度圖和熱圖像等五種不同模態(tài)的下游任務(wù)中取得了卓越的性能，刷榜多項評估榜單，這標志著多模態(tài)學(xué)習(xí)領(lǐng)域向著「大一統(tǒng)」理念邁進了重要一步。

在現(xiàn)代社會，信息傳遞和交流不再局限于單一模態(tài)。我們生活在一個多模態(tài)的世界里，聲音、視頻、文字和深度圖等模態(tài)信息相互交織，共同構(gòu)成了我們豐富的感知體驗。這種多模態(tài)的信息交互不僅存在于人類社會的溝通中，同樣也是機器理解世界所必須面對的挑戰(zhàn)。

如何讓機器像人類一樣理解和處理這種多模態(tài)的數(shù)據(jù)，成為了人工智能領(lǐng)域研究的前沿問題。

在過去的十年里，隨著互聯(lián)網(wǎng)和智能設(shè)備的普及，視頻內(nèi)容的數(shù)量呈爆炸式增長。視頻平臺如 YouTube、TikTok 和 Bilibili 等匯聚了億萬用戶上傳和分享的視頻內(nèi)容，涵蓋了娛樂、教育、新聞報道、個人日志等各個方面。如此龐大的視頻數(shù)據(jù)量為人類提供了前所未有的信息和知識。為了解決這些視頻理解任務(wù)，人們采用了視頻 - 語言（VL）預(yù)訓(xùn)練方法，將計算機視覺和自然語言處理結(jié)合起來，這些模型能夠捕捉視頻語義并解決下游任務(wù)。

然而，目前的 VL 預(yù)訓(xùn)練方法通常僅適用于視覺和語言模態(tài)，而現(xiàn)實世界中的應(yīng)用場景往往包含更多的模態(tài)信息，如深度圖、熱圖像等。如何整合和分析不同模態(tài)的信息，并且能夠在多個模態(tài)之間建立準確的語義對應(yīng)關(guān)系，成為了多模態(tài)領(lǐng)域的一個新的挑戰(zhàn)。

為了應(yīng)對這一難題，北大與騰訊的研究人員提出了一種新穎的多模態(tài)對齊框架 ——LanguageBind。與以往依賴圖像作為主導(dǎo)模態(tài)的方法不同，LanguageBind 采用語言作為多模態(tài)信息對齊的紐帶。

論文地址：https://arxiv.org/pdf/2310.01852.pdf

GitHub 地址：https://github.com/PKU-YuanGroup/LanguageBind

Huggingface 地址：https://huggingface.co/LanguageBind

語言因其內(nèi)在的語義豐富性和表現(xiàn)力，被賦予了整合和引導(dǎo)其他模態(tài)信息對齊的能力。在這個框架下，語言不再是附屬于視覺信息的標注或說明，而是成為了聯(lián)合視覺、音頻和其他模態(tài)的中心通道。

LanguageBind 通過將所有模態(tài)的信息映射到一個統(tǒng)一的語言導(dǎo)向的嵌入空間，實現(xiàn)了不同模態(tài)之間的語義對齊。這種對齊方法避免了通過圖像中介可能引入的信息損失，提高了多模態(tài)信息處理的準確性和效率。更重要的是，這種方法為未來的擴展提供了靈活性，允許簡單地添加新的模態(tài)，而無需重新設(shè)計整個系統(tǒng)。

此外，該研究團隊構(gòu)建了 VIDAL-10M 數(shù)據(jù)集，這是一個大規(guī)模、包含多模態(tài)數(shù)據(jù)對的數(shù)據(jù)集。

VIDAL-10M 涵蓋了視頻 - 語言、紅外 - 語言、深度 - 語言和音頻 - 語言配對，以確?？缒B(tài)的信息是完整且一致的。通過在該數(shù)據(jù)集上進行訓(xùn)練，LanguageBind 在視頻、音頻、深度和紅外等 15 個廣泛的基準測試中取得了卓越的性能表現(xiàn)。

方法介紹

在多模態(tài)信息處理領(lǐng)域，主流的對齊技術(shù)，如 ImageBind，主要依賴圖像作為橋梁來實現(xiàn)不同模態(tài)之間的間接對齊。這種方法在對其他模態(tài)和語言模態(tài)的對齊上可能會導(dǎo)致性能次優(yōu)化，因為它需要兩步轉(zhuǎn)換過程 —— 首先是從目標模態(tài)到圖像模態(tài)，然后是從圖像模態(tài)到語言模態(tài)。這種間接對齊可能導(dǎo)致語義信息在轉(zhuǎn)換過程中的衰減，從而影響最終的性能表現(xiàn)。

針對這一問題，該團隊提出了一種名為 LanguageBind 的多模態(tài)語義對齊預(yù)訓(xùn)練框架。該框架摒棄了依賴圖像作為中介的傳統(tǒng)模式，而是直接利用語言模態(tài)作為不同模態(tài)之間的紐帶。語言模態(tài)因其天然的語義豐富性，成為連接視覺、音頻、深度等模態(tài)的理想選擇。LanguageBind 框架通過利用對比學(xué)習(xí)機制，將不同模態(tài)的數(shù)據(jù)映射到一個共享的語義嵌入空間中。在這個空間里，不同模態(tài)的信息可以直接進行語義層面的理解與對齊。

LanguageBind 概覽圖

具體而言，LanguageBind 通過錨定語言模態(tài)，采用一系列優(yōu)化的對比學(xué)習(xí)策略，對多模態(tài)數(shù)據(jù)進行預(yù)訓(xùn)練。這一過程中，模型學(xué)習(xí)將來自不同模態(tài)的數(shù)據(jù)編碼到與語言模態(tài)相兼容的表征中，確保了模態(tài)間的語義一致性。這種直接的跨模態(tài)語義對齊避免了傳統(tǒng)方法中的性能損失，同時提高了模型在下游多模態(tài)任務(wù)中的泛化能力和適用性。

LanguageBind 框架的另一個優(yōu)點是其擴展性。由于直接使用語言作為核心對齊模態(tài)，當引入新的模態(tài)時，無需重構(gòu)整個對齊機制，只需通過相同的對比學(xué)習(xí)過程，將新模態(tài)的數(shù)據(jù)映射到已經(jīng)建立的語言導(dǎo)向嵌入空間。這使得 LanguageBind 不僅適用于現(xiàn)有的模態(tài)，也能輕松適應(yīng)未來可能出現(xiàn)的新模態(tài)，為多模態(tài)預(yù)訓(xùn)練技術(shù)的發(fā)展奠定了堅實基礎(chǔ)。

數(shù)據(jù)集介紹

在跨模態(tài)預(yù)訓(xùn)練領(lǐng)域，數(shù)據(jù)集的構(gòu)建及其質(zhì)量對于預(yù)訓(xùn)練模型的性能與應(yīng)用效能具有決定性影響。傳統(tǒng)的多模態(tài)數(shù)據(jù)集大多局限于二模態(tài)或三模態(tài)的配對數(shù)據(jù)，這種限制導(dǎo)致了對更豐富模態(tài)對齊數(shù)據(jù)集的需求。

因而，該團隊開發(fā)了 VIDAL-10M 數(shù)據(jù)集，這是一個創(chuàng)新的五模態(tài)數(shù)據(jù)集，包含了視頻 - 語言（VL）、紅外 - 語言（IL）、深度 - 語言（DL）、音頻 - 語言（AL）等數(shù)據(jù)對。每個數(shù)據(jù)對都經(jīng)過了精心的質(zhì)量篩選，旨在為跨模態(tài)預(yù)訓(xùn)練領(lǐng)域提供一個高品質(zhì)、高完整性的訓(xùn)練基礎(chǔ)。

VIDAL-10M 數(shù)據(jù)集示例

VIDAL-10M 數(shù)據(jù)集的構(gòu)建主要包括三步：

視覺相關(guān)搜索詞庫構(gòu)建。設(shè)計一種創(chuàng)新的搜索詞獲取策略，該策略綜合利用了各類視覺任務(wù)數(shù)據(jù)集中的文本信息，如標簽和標題，以構(gòu)建一個豐富視覺概念且多樣化的視頻數(shù)據(jù)集，從而增強了數(shù)據(jù)多樣性和覆蓋度。

視頻和音頻數(shù)據(jù)的收集、清洗與篩選：在數(shù)據(jù)的收集過程中，該研究采取了基于文本、視覺和音頻內(nèi)容的多種過濾機制，這些機制確保收集到的視頻和音頻數(shù)據(jù)與搜索詞高度相關(guān)，并且滿足高標準的質(zhì)量要求。這一步驟是確保數(shù)據(jù)集質(zhì)量的關(guān)鍵環(huán)節(jié)，它直接影響模型訓(xùn)練的效果和后續(xù)任務(wù)的性能。

紅外、深度模態(tài)數(shù)據(jù)生成與多視角文本增強。此階段，利用多種先進的生成模型技術(shù)合成了紅外和深度模態(tài)數(shù)據(jù)，并對文本內(nèi)容進行了多角度的生成和增強。多視角文本增強包括了標題、標簽、關(guān)鍵幀描述、視頻概要等多個維度，它為視頻內(nèi)容提供了全面且細致的描述，增強了數(shù)據(jù)的語義豐富性和描述的細粒度。

VIDAL-10M 數(shù)據(jù)集的構(gòu)建過程

實驗

LanguageBind 框架被應(yīng)用于多個模態(tài)的零樣本分類任務(wù)，并與其他模型進行了性能比較。實驗結(jié)果顯示，LanguageBind 方法在包括視頻、音頻、深度圖像、熱成像等多模態(tài)數(shù)據(jù)上的 15 個零樣本分類與檢索任務(wù)中均展示了顯著的性能提升。這些實驗成果強調(diào)了 LanguageBind 方法在理解和處理不同模態(tài)數(shù)據(jù)中的潛在能力，尤其是在沒有先前樣本可供學(xué)習(xí)的情況下。為了更深入地了解 LanguageBind 方法的性能，可以參照以下詳細的實驗結(jié)果。

表 2 顯示，LanguageBind 的性能在 MSR-VTT 上超過 VideoCoca 和 OmniVL ，盡管僅使用 300 萬個視頻 - 文本對。

在兩個經(jīng)典數(shù)據(jù)集 MSR-VTT 和 MSVD 上進行的零樣本視頻 - 文本檢索實驗結(jié)果如表 3 所示：

該研究還將本文模型與 SOTA 多模態(tài)預(yù)訓(xùn)練模型 OpenCLIP、ImageBind 在多模態(tài)理解任務(wù)上進行了比較，結(jié)果如表 4 所示：

表 5 比較了在 Clotho 數(shù)據(jù)集和 Audiocaps 數(shù)據(jù)集上的零樣本文本 - 音頻檢索性能：