論文：Foundations and Recent Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions

地址：https://arxiv.org/pdf/2209.03430.pdf

多模態(tài)機器學習是一個充滿活力的多學科研究領域，旨在通過整合多種交流模態(tài)，包括語言、聲學、視覺、觸覺和生理信息，設計具有理解、推理和學習等智能能力的計算機智能體。隨著最近人們對視頻理解、具身化自主智能體、文本到圖像生成以及醫(yī)療健康和機器人等應用領域的多傳感器融合的興趣，多模態(tài)機器學習給機器學習社區(qū)帶來了獨特的計算和理論挑戰(zhàn)，因為數(shù)據(jù)源的異質(zhì)性和模式之間經(jīng)常發(fā)現(xiàn)的相互聯(lián)系。然而，多模態(tài)研究的廣泛進展使得很難確定該領域的共同主題和開放問題。通過從歷史和最近的角度綜合廣泛的應用領域和理論框架，本文旨在提供一個多模態(tài)機器學習的計算和理論基礎的概述。我們首先定義了驅(qū)動后續(xù)創(chuàng)新的模態(tài)異質(zhì)性和相互聯(lián)系的兩個關鍵原則，并提出了6個核心技術挑戰(zhàn)的分類:表征、對齊、推理、生成、轉(zhuǎn)移和涵蓋歷史和近期趨勢的量化。最新的技術成果將通過這種分類法來展示，讓研究人員了解新方法的異同。最后，我們提出了幾個由我們的分類法確定的開放問題，以供未來研究。

開發(fā)具有智能能力的計算機智能體一直是人工智能的一個宏偉目標，如通過多模態(tài)經(jīng)驗和數(shù)據(jù)進行理解、推理和學習，就像我們?nèi)祟愂褂枚喾N感官模式感知世界的方式一樣。隨著近年來在具身自主代理[77,512]、自動駕駛汽車[647]、圖像和視頻理解[16,482,557]、文本到圖像生成[486]以及機器人[335,493]和醫(yī)療健康[281,357]等應用領域的多傳感器融合方面的進展，我們現(xiàn)在比以往任何時候都更接近能夠集成許多感官形態(tài)并從中學習的智能體。多模態(tài)機器學習這一充滿活力的多學科研究領域帶來了獨特的挑戰(zhàn)，因為數(shù)據(jù)的異質(zhì)性和通常在模態(tài)之間發(fā)現(xiàn)的相互聯(lián)系，并在多媒體[351,435]、情感計算[353,476]、機器人[308,334]、人機交互[445,519]和醫(yī)療健康[85,425]中有廣泛的應用。

然而，多模態(tài)研究的進展速度使得很難確定歷史和近期工作的共同主題，以及該領域的關鍵開放問題。通過從歷史和最近的角度綜合廣泛的應用領域和理論見解，本文旨在提供多模態(tài)機器學習的方法論、計算和理論基礎的概述，這很好地補充了最近在視覺和語言[603]、語言和強化學習[382]、多媒體分析[40]和人機交互[269]等面向應用的研究。

圖1:多模態(tài)學習的核心研究挑戰(zhàn):(1)表示研究如何表示和總結多模態(tài)數(shù)據(jù)，以反映單個模態(tài)元素之間的異質(zhì)性和相互聯(lián)系。(2)對齊旨在識別所有元素之間的聯(lián)系和相互作用。(3)推理的目的是將多模態(tài)證據(jù)組合成知識，通常通過對一個任務的多個推理步驟。(4)生成包括學習生成過程，以產(chǎn)生反映跨模態(tài)交互、結構和一致性的原始模態(tài)。(5)遷移旨在在模態(tài)及其表示之間遷移知識。(6)量化包括實證和理論研究，以更好地理解異質(zhì)性、相互聯(lián)系和多模態(tài)學習過程。

為了建立多模態(tài)機器學習的基礎，我們首先為數(shù)據(jù)模式和多模態(tài)研究的定義奠定基礎，然后確定驅(qū)動后續(xù)技術挑戰(zhàn)和創(chuàng)新的兩個關鍵原則:(1)模態(tài)是異質(zhì)的，因為在不同模態(tài)中出現(xiàn)的信息往往表現(xiàn)出不同的質(zhì)量、結構和表征;(2)模態(tài)是相互聯(lián)系的，因為它們經(jīng)常相關、共享共性，或在用于任務推斷時相互作用產(chǎn)生新信息。基于這些定義，我們提出了多模態(tài)機器學習中的六個核心挑戰(zhàn)的新分類:表示、對齊、推理、生成、遷移和量化(見圖1)。這些構成了傳統(tǒng)單模態(tài)機器學習中研究不足的核心多模態(tài)技術挑戰(zhàn)，為了推動該領域向前發(fā)展，需要解決這些挑戰(zhàn):

1. 表征: 我們能學習反映個體模態(tài)元素之間的異質(zhì)性和相互聯(lián)系的表征嗎?本文將涵蓋以下基本方法:(1)表示融合:整合來自2個或更多模態(tài)的信息，有效減少單獨表示的數(shù)量;(2)表示協(xié)調(diào):互換跨模態(tài)信息，目標是保持相同的表示數(shù)量，但改善多模態(tài)語境化;創(chuàng)建一個新的不相交的表示集，其數(shù)量通常大于輸入集，反映有關內(nèi)部結構的知識，如數(shù)據(jù)聚類或因子分解。

2. 對齊:我們?nèi)绾巫R別樣式元素之間的連接和交互?模態(tài)之間的對齊具有挑戰(zhàn)性，涉及(1)識別模態(tài)元素之間的連接，(2)上下文表示學習以捕獲模態(tài)連接和交互，以及(3)處理具有歧義分割的模態(tài)輸入。

3. 推理被定義為從多模態(tài)證據(jù)中組合知識，通常通過多個推理步驟，為特定任務開發(fā)多模態(tài)對齊和問題結構。這種關系通常遵循某種層次結構，更抽象的概念在層次結構中被定義為較不抽象的概念的函數(shù)。推理包括(1)對推理發(fā)生的結構建模，(2)推理過程中的中間概念，(3)理解更抽象概念的推理范式，(4)在結構、概念和推理的研究中利用大規(guī)模的外部知識。

4. 生成:第四個挑戰(zhàn)涉及學習生成過程，以生成反映每個模態(tài)的獨特異質(zhì)性和模態(tài)之間的相互聯(lián)系的原始模態(tài)。我們將其子挑戰(zhàn)分類為:(1)總結:總結多模態(tài)數(shù)據(jù)以減少信息內(nèi)容，同時突出輸入中最突出的部分;(2)翻譯:從一種模態(tài)轉(zhuǎn)換到另一種模態(tài)并保持信息內(nèi)容，同時與跨模態(tài)交互保持一致;(3)創(chuàng)造:同時生成多個模態(tài)以增加信息內(nèi)容，同時保持模態(tài)內(nèi)部和跨模態(tài)的一致性。

5. 遷移旨在在模態(tài)及其表示之間遷移知識，通常用于幫助可能有噪聲或資源有限的目標模態(tài)。以以下算法為例:(1)跨模態(tài)遷移:使模型適應涉及主要模態(tài)的下游任務;(2)共同學習:通過在兩種模態(tài)之間共享表示空間，將信息從次要模態(tài)轉(zhuǎn)移到主要模態(tài);保持單個單模態(tài)模型獨立，但在這些模型之間傳遞信息，從一種模態(tài)學到的知識(例如，預測的標簽或表示)如何幫助以另一種模態(tài)訓練的計算模型?

6. 量化: 第六個挑戰(zhàn)涉及實證和理論研究，以更好地理解異質(zhì)性、模態(tài)相互聯(lián)系和多模態(tài)學習過程。量化旨在理解(1)多模態(tài)數(shù)據(jù)集的異質(zhì)性維度以及它們?nèi)绾斡绊懡：蛯W習，(2)多模態(tài)數(shù)據(jù)集和訓練過的模型中模態(tài)連接和交互的存在和類型，以及(3)異構數(shù)據(jù)涉及的學習和優(yōu)化挑戰(zhàn)。

最后，我們對多模態(tài)學習的未來研究方向提出了一個長遠的展望。

審核編輯 ：李倩