1. 簡介

Prompt通過將輸入文本填入預(yù)設(shè)prompt模板的方式，將下游NLP任務(wù)形式與語言模型預(yù)訓(xùn)練任務(wù)統(tǒng)一起來，來更好地利用預(yù)訓(xùn)練階段學(xué)習(xí)到的知識，使模型更容易適應(yīng)于下游任務(wù)，在一系列NLP任務(wù)上取得了很好的效果[1]。Soft prompt方法使用可學(xué)習(xí)的參數(shù)來替代prompt模板中固定的token，盡管在少標(biāo)注文本分類任務(wù)上性能優(yōu)異[2]，但是其表現(xiàn)隨模型初始化參數(shù)不同會出現(xiàn)很大的波動[1, 3]。人工選擇soft prompt模型參數(shù)需要對語言模型內(nèi)部工作機理的深入理解和大量試錯，并且在遇到不同少標(biāo)注任務(wù)時難以復(fù)用。

圖1 MetaPrompting幫助模型找到一個更優(yōu)參數(shù)初始化點，以更快、更好地適應(yīng)于新的少標(biāo)注任務(wù)

為了解決上述問題，本文將目光從任務(wù)專用的soft prompt模型設(shè)計轉(zhuǎn)移到任務(wù)通用的模型參數(shù)初始化點搜索，以幫助模型快速適應(yīng)到不同的少標(biāo)注任務(wù)上。本文采用近年提出的基于優(yōu)化的元學(xué)習(xí)方法，例如MAML[4]、Reptile[5]等，來搜索更優(yōu)的soft prompt模型參數(shù)初始化點，以解決模型對初始化點過于敏感的問題。

本文在四個常用的少標(biāo)注文本分類數(shù)據(jù)集上進行了充分的實驗，結(jié)果表明MetaPrompting相比其他基于元學(xué)習(xí)和prompt方法的強基線模型取得了更好的效果，達到了新的SOTA。

2. 方法

2.1 Soft prompt方法

Prompt方法通過將下游任務(wù)轉(zhuǎn)化成語言模型預(yù)訓(xùn)練目標(biāo)的形式，幫助模型更好地在下游任務(wù)上發(fā)揮性能。如圖2所示，對于一個新聞文本分類任務(wù)，可以通過將輸入文本填入prompt模板的方式，將該文本分類任務(wù)轉(zhuǎn)化為MLM任務(wù)形式。之后將模型在[MASK]位置填入各個詞語的概率映射到不同標(biāo)簽上，即可完成文本分類任務(wù)的處理。

Soft prompt模型中，部分prompt tokens以可訓(xùn)練embedding的形式給出，并可以和預(yù)訓(xùn)練模型的參數(shù)一起進行優(yōu)化，在保留離散token中語義信息的同時，給予模型更多的靈活性。

圖2 Soft prompt方法

2.2 將基于優(yōu)化的元學(xué)習(xí)方法應(yīng)用于soft prompt模型

少標(biāo)注任務(wù)構(gòu)建

本文使用元階段（episode）風(fēng)格的少標(biāo)注學(xué)習(xí)范式。具體而言，每一個少標(biāo)注任務(wù)包含支持集和查詢集兩個部分，支持集中每個類別所對應(yīng)標(biāo)注樣本數(shù)量極少，本文通過將模型在支持集上進行適配，在查詢集上進行測試的方法，衡量模型的少標(biāo)注學(xué)習(xí)性能。本文將不同標(biāo)簽對應(yīng)的樣本分別劃分成用于訓(xùn)練、驗證和測試的少標(biāo)注任務(wù)，以衡量模型從源領(lǐng)域?qū)W習(xí)通用元知識來處理目標(biāo)領(lǐng)域少標(biāo)注任務(wù)的能力。

基于元學(xué)習(xí)的soft prompt模型優(yōu)化過程

MetaPrompting的整體優(yōu)化過程如圖3所示。元訓(xùn)練階段，模型在少標(biāo)注任務(wù)的支持集上進行試探性參數(shù)更新，并在查詢集上進行梯度回傳。元測試階段，模型在未見過的少標(biāo)注任務(wù)上進行適配和預(yù)測。令和分別表示預(yù)訓(xùn)練模型和soft prompt的參數(shù)，在元訓(xùn)練階段，模型在一個少標(biāo)注任務(wù)支持集上進行適配的過程如下式所示：

其中α是適配過程的學(xué)習(xí)率，表示模型進行適配學(xué)習(xí)的步數(shù)。令模型在少標(biāo)注任務(wù)上適配學(xué)習(xí)之后的參數(shù)為和，可將模型在該少標(biāo)注任務(wù)上的優(yōu)化目標(biāo)描述為：

該優(yōu)化目標(biāo)模擬了模型在少標(biāo)注場景下進行試探性參數(shù)更新，并根據(jù)試探性更新之后的情況優(yōu)化模型參數(shù)的策略。這種策略更多關(guān)注了模型在一步或多步更新之后的情況，因而可以幫助模型找到一個能快速適應(yīng)于新的少標(biāo)注任務(wù)的參數(shù)初始化點。

圖3 MetaPrompting模型參數(shù)更新過程

實驗中，本文還使用了MAML++[6]中的多步梯度回傳技巧，來使得優(yōu)化過程更加穩(wěn)定，達到更好的效果。

3. 實驗

本文分別采用5way 1shot和5way 5shot的少標(biāo)注學(xué)習(xí)設(shè)定來測試模型性能。實驗選擇了HuffPost、Amazon、Reuters和20newsgroup四個廣泛使用的文本分類數(shù)據(jù)集，結(jié)果以分類準(zhǔn)確率%給出。

實驗結(jié)果如表1所示，表中20newsgroup數(shù)據(jù)集性能由于數(shù)據(jù)構(gòu)造問題與原文略有出入，現(xiàn)為勘誤后結(jié)果，勘誤不影響實驗結(jié)論。由實驗結(jié)果可見，MetaPrompting性能優(yōu)于當(dāng)前的SOTA模型ContrastNet[7]和其他基于元學(xué)習(xí)和提示學(xué)習(xí)的方法，取得了明顯的性能提升。相比于不使用元學(xué)習(xí)優(yōu)化目標(biāo)的Ours (Pretrain Init)，引入元學(xué)習(xí)搜索模型參數(shù)初始化點的Ours (Meta Init)也得到了更好的性能，說明了元學(xué)習(xí)方法在soft prompt模型參數(shù)優(yōu)化中的有效性。

表1 MetaPrompting主實驗結(jié)果

主實驗中，為了與其他基線模型進行公平的對比，將soft prompt參數(shù)和預(yù)訓(xùn)練模型參數(shù)一起進行了優(yōu)化。為了更好地說明MetaPrompting針對soft prompt參數(shù)初始化的作用，本文還參數(shù)進行了固定預(yù)訓(xùn)練模型的實驗。實驗結(jié)果如表2所示，相比于參數(shù)隨機初始化的soft prompt模型，MetaPrompting取得了明顯的性能提升。

表2 MetaPrompting在固定預(yù)訓(xùn)練模型參數(shù)時的性能

現(xiàn)實應(yīng)用場景中，往往難以得到內(nèi)容、形式十分相近的源領(lǐng)域數(shù)據(jù)。因此本文還對MetaPrompting在分布外數(shù)據(jù)上的性能進行了測試。實驗結(jié)果如表3所示，即使源領(lǐng)域的數(shù)據(jù)內(nèi)容、形式上有較大的差異，MetaPrompting仍然可以學(xué)習(xí)到任務(wù)通用的元知識，來輔助在目標(biāo)領(lǐng)域少標(biāo)注任務(wù)上的學(xué)習(xí)。

表3 MetaPrompting在不同內(nèi)容、形式的源領(lǐng)域數(shù)據(jù)上進行元學(xué)習(xí)的性能

本文還對MetaPrompting對于不同prompt模板的魯棒性進行了測試。如表4所示，相比于隨機初始化的soft prompt模型，MetaPrompting尋找到的參數(shù)初始化點在不同prompt模板下性能方差更小，魯棒性更強。

表4 MetaPrompting在不同prompt模板下性能的方差

4. 總結(jié)

本文提出了MetaPrompting，將基于優(yōu)化的元學(xué)習(xí)方法推廣到soft prompt模型中，來處理少標(biāo)注文本任務(wù)。MetaPrompting利用源領(lǐng)域數(shù)據(jù)進行元學(xué)習(xí)，搜索能夠更快、更好地適應(yīng)于新的少標(biāo)注人物的模型參數(shù)初始化點。在4個少標(biāo)注文本分類數(shù)據(jù)集上的實驗結(jié)果表明，MetaPrompting相比于樸素的soft prompt模型以及其他基于元學(xué)習(xí)的基線模型取得了更好的效果，達到了新的SOTA性能。

審核編輯 ：李倩