作者｜閔映乾機(jī)構(gòu)｜中國(guó)人民大學(xué)信息學(xué)院碩士方向 | 自然語(yǔ)言處理 來(lái)自 | RUC AI Box

導(dǎo)讀：本文目標(biāo)是對(duì)近期火爆異常的Prompt相關(guān)研究作一些追溯和展望，內(nèi)容主要參考論文《Pre-train， Prompt， and Predict： A Systematic Survey of Prompting Methods in Natural Language Processing》，并摻雜了筆者的一些個(gè)人見(jiàn)解，歡迎大家積極討論~

論文的arxiv鏈接如下：

https://arxiv.org/abs/2107.13586

一、Prompt的產(chǎn)生和興起

近幾年來(lái)，有關(guān)預(yù)訓(xùn)練語(yǔ)言模型（PLM）的研究比比皆是，自然語(yǔ)言處理（NLP）也借著這股春風(fēng)獲得了長(zhǎng)足發(fā)展。尤其是在2017-2019年間，研究者們的重心逐漸從傳統(tǒng)task-specific的有監(jiān)督模式轉(zhuǎn)移到預(yù)訓(xùn)練上?；陬A(yù)訓(xùn)練語(yǔ)言模型的研究思路通常是“pre-train， fine-tune”，即將PLM應(yīng)用到下游任務(wù)上，在預(yù)訓(xùn)練階段和微調(diào)階段根據(jù)下游任務(wù)設(shè)計(jì)訓(xùn)練對(duì)象并對(duì)PLM本體進(jìn)行調(diào)整。

隨著PLM體量的不斷增大，對(duì)其進(jìn)行fine-tune的硬件要求、數(shù)據(jù)需求和實(shí)際代價(jià)也在不斷上漲。除此之外，豐富多樣的下游任務(wù)也使得預(yù)訓(xùn)練和微調(diào)階段的設(shè)計(jì)變得繁瑣復(fù)雜，因此研究者們希望探索出更小巧輕量、更普適高效的方法，Prompt就是一個(gè)沿著此方向的嘗試。

融入了Prompt的新模式大致可以歸納成”pre-train， prompt， and predict“，在該模式中，下游任務(wù)被重新調(diào)整成類似預(yù)訓(xùn)練任務(wù)的形式。例如，通常的預(yù)訓(xùn)練任務(wù)有Masked Language Model， 在文本情感分類任務(wù)中，對(duì)于 “I love this movie.” 這句輸入，可以在后面加上prompt “The movie is ___” 這樣的形式，然后讓PLM用表示情感的答案填空如 “great”、“fantastic” 等等，最后再將該答案轉(zhuǎn)化成情感分類的標(biāo)簽，這樣以來(lái)，通過(guò)選取合適的prompt，我們可以控制模型預(yù)測(cè)輸出，從而一個(gè)完全無(wú)監(jiān)督訓(xùn)練的PLM可以被用來(lái)解決各種各樣的下游任務(wù)。

因此，合適的prompt對(duì)于模型的效果至關(guān)重要。大量研究表明，prompt的微小差別，可能會(huì)造成效果的巨大差異。研究者們就如何設(shè)計(jì)prompt做出了各種各樣的努力——自然語(yǔ)言背景知識(shí)的融合、自動(dòng)生成prompt的搜索、不再拘泥于語(yǔ)言形式的prompt探索等等，筆者將會(huì)在第三節(jié)進(jìn)行進(jìn)一步討論。

二、什么是Prompt

Prompt剛剛出現(xiàn)的時(shí)候，還沒(méi)有被叫做Prompt，是研究者們?yōu)榱讼掠稳蝿?wù)設(shè)計(jì)出來(lái)的一種輸入形式或模板，它能夠幫助PLM“回憶”起自己在預(yù)訓(xùn)練時(shí)“學(xué)習(xí)”到的東西，因此后來(lái)慢慢地被叫做Prompt了。

對(duì)于輸入的文本，有函數(shù)，將轉(zhuǎn)化成prompt的形式，即：

該函數(shù)通常會(huì)進(jìn)行兩步操作：

使用一個(gè)模板，模板通常為一段自然語(yǔ)言，并且包含有兩個(gè)空位置：用于填輸入的位置和用于生成答案文本的位置。

把輸入填到的位置。

還用前文提到的例子。在文本情感分類的任務(wù)中，假設(shè)輸入是

“ I love this movie.”

使用的模板是

“ ［X］ Overall， it was a ［Z］ movie.”

那么得到的就應(yīng)該是 “I love this movie. Overall it was a ［Z］ movie.”

在實(shí)際的研究中，prompts應(yīng)該有空位置來(lái)填充答案，這個(gè)位置一般在句中或者句末。如果在句中，一般稱這種prompt為cloze prompt；如果在句末，一般稱這種prompt為prefix prompt。和的位置以及數(shù)量都可能對(duì)結(jié)果造成影響，因此可以根據(jù)需要靈活調(diào)整。

另外，上面的例子中prompts都是有意義的自然語(yǔ)言，但實(shí)際上其形式并不一定要拘泥于自然語(yǔ)言?，F(xiàn)有相關(guān)研究使用虛擬單詞甚至直接使用向量作為prompt，筆者將會(huì)在第三節(jié)講到。

下一步會(huì)進(jìn)行答案搜索，顧名思義就是LM尋找填在處可以使得分?jǐn)?shù)最高的文本 。最后是答案映射。有時(shí)LM填充的文本并非任務(wù)需要的最終形式，因此要將此文本映射到最終的輸出。例如，在文本情感分類任務(wù)中，“excellent”， “great”， “wonderful” 等詞都對(duì)應(yīng)一個(gè)種類 “++”，這時(shí)需要將詞語(yǔ)映射到標(biāo)簽再輸出。

三、Prompt的設(shè)計(jì)

Prompt大致可以從下面三個(gè)角度進(jìn)行設(shè)計(jì)：

Prompt的形狀

手工設(shè)計(jì)模板

自動(dòng)學(xué)習(xí)模板

Prompt的形狀

Prompt的形狀主要指的是和的位置和數(shù)量。上文提到過(guò)cloze prompt和prefix prompt的區(qū)別，在實(shí)際應(yīng)用過(guò)程中選擇哪一種主要取決于任務(wù)的形式和模型的類別。cloze prompts和Masked Language Model的訓(xùn)練方式非常類似，因此對(duì)于使用MLM的任務(wù)來(lái)說(shuō)cloze prompts更加合適；對(duì)于生成任務(wù)來(lái)說(shuō)，或者使用自回歸LM解決的任務(wù)，prefix prompts就會(huì)更加合適；Full text reconstruction models較為通用，因此兩種prompt均適用。另外，對(duì)于文本對(duì)的分類，prompt模板通常要給輸入預(yù)留兩個(gè)空，和。

手工設(shè)計(jì)模板

Prompt最開(kāi)始就是從手工設(shè)計(jì)模板開(kāi)始的。手工設(shè)計(jì)一般基于人類的自然語(yǔ)言知識(shí)，力求得到語(yǔ)義流暢且高效的模板。例如，Petroni等人在著名的LAMA數(shù)據(jù)集中為知識(shí)探針任務(wù)手工設(shè)計(jì)了cloze templates；Brown等人為問(wèn)答、翻譯和探針等任務(wù)設(shè)計(jì)了prefix templates。手工設(shè)計(jì)模板的好處是較為直觀，但缺點(diǎn)是需要很多實(shí)驗(yàn)、經(jīng)驗(yàn)以及語(yǔ)言專業(yè)知識(shí)，代價(jià)較大。

自動(dòng)學(xué)習(xí)模板

為了解決手工設(shè)計(jì)模板的缺點(diǎn)，許多研究開(kāi)始探究如何自動(dòng)學(xué)習(xí)到合適的模板。自動(dòng)學(xué)習(xí)的模板又可以分為離散（Discrete Prompts）和連續(xù)（Continuous Prompts）兩大類。離散的主要包括 Prompt Mining， Prompt Paraphrasing， Gradient-based Search， Prompt Generation 和 Prompt Scoring；連續(xù)的則主要包括Prefix Tuning， Tuning Initialized with Discrete Prompts 和 Hard-Soft Prompt Hybrid Tuning。

離散Prompts

自動(dòng)生成離散Prompts指的是自動(dòng)生成由自然語(yǔ)言的詞組成的Prompt，因此其搜索空間是離散的。目前大致可以分成下面幾個(gè)方法：

Prompt Mining. 該方法需要一個(gè)大的文本庫(kù)支持，例如Wikipedia。給定輸入和輸出，要找到和之間的中間詞或者依賴路徑，然后選取出現(xiàn)頻繁的中間詞或依賴路徑作為模板，即“［X］ middle words ［Z］”。

Prompt Paraphrasing. Paraphrasing-based方法是基于釋義的，主要采用現(xiàn)有的種子prompts（例如手動(dòng)構(gòu)造），并將其轉(zhuǎn)述成一組其他候選prompts，然后選擇一個(gè)在目標(biāo)任務(wù)上達(dá)到最好效果的。一般的做法有：將提示符翻譯成另一種語(yǔ)言，然后再翻譯回來(lái)；使用同義或近義短語(yǔ)來(lái)替換等。

Gradient-based Search. 梯度下降搜索的方法是在單詞候選集里選擇詞并組合成prompt，利用梯度下降的方式不斷嘗試組合，從而達(dá)到讓PLM生成需要的詞的目的。

Prompt Generation. 既然Prompt也是一段文本，那是否可以用文本生成的方式來(lái)生成Prompt呢？該類方法就是將標(biāo)準(zhǔn)的自然語(yǔ)言生成的模型用于生成prompts了。例如，Gao等人將T5引入了模板搜索的過(guò)程，讓T5生成模板詞；Ben-David 等人提出了一種域自適應(yīng)算法，訓(xùn)練T5為每個(gè)輸入生成一種唯一的域相關(guān)特征，然后把輸入和特征連接起來(lái)組成模板再用到下游任務(wù)中。

Prompt Scoring. Davison等人在研究知識(shí)圖譜補(bǔ)全任務(wù)的時(shí)候?yàn)槿M輸入（頭實(shí)體，關(guān)系，尾實(shí)體）設(shè)計(jì)了一種模板。首先人工制造一組模板候選，然后把相應(yīng)的［X］和［Z］都填上成為prompts，并使用一個(gè)雙向LM給這些prompts打分，最后選取其中的高分prompt。

連續(xù)Prompts

既然構(gòu)造Prompt的初衷是能夠找到一個(gè)合適的方法，讓PLM更“聽(tīng)話”地得出我們想要的結(jié)果，那就不必把prompt的形式拘泥于人類可以理解的自然語(yǔ)言了，只要機(jī)器可以理解就好了。因此，還有一些方法探索連續(xù)型prompts——直接作用到模型的embedding空間。連續(xù)型prompts去掉了兩個(gè)約束條件：

模板中詞語(yǔ)的embedding可以是整個(gè)自然語(yǔ)言的embedding，不再只是有限的一些embedding。

模板的參數(shù)不再直接取PLM的參數(shù)，而是有自己獨(dú)立的參數(shù)，可以通過(guò)下游任務(wù)的訓(xùn)練數(shù)據(jù)進(jìn)行調(diào)整。

目前的連續(xù)prompts方法大致可以分為下面幾種：

Prefix Tuning. Prefix Tuning最開(kāi)始由Li等人提出，是一種在輸入前添加一串連續(xù)的向量的方法，該方法保持PLM的參數(shù)不動(dòng)，僅訓(xùn)練合適的前綴（prefix）。它的形式化定義是，在給定一個(gè)可訓(xùn)練的前綴矩陣和一個(gè)固定的參數(shù)化為的PLM的對(duì)數(shù)似然目標(biāo)上進(jìn)行優(yōu)化。

其中

指的是所有神經(jīng)網(wǎng)絡(luò)層在第i個(gè)時(shí)間步的連接。如果對(duì)應(yīng)的時(shí)間步在前綴中，則它可以直接從前綴矩陣中復(fù)制過(guò)來(lái)；否則需要使用PLM進(jìn)行計(jì)算。

類似地，Lester等人在輸入序列前面加上特殊的token來(lái)組成一個(gè)模板，然后直接調(diào)整這些token的embedding。 和上面的Prefix Tuning的方法相比，他們的方法相對(duì)來(lái)說(shuō)參數(shù)較少，因?yàn)闆](méi)有在每一層網(wǎng)絡(luò)中引入額外的參數(shù)。

Tuing Initialized with Discrete Prompts. 這類方法中連續(xù)prompts是用已有的prompts初始化的，已有的prompts可以是手工設(shè)計(jì)的，也可以是之前搜索發(fā)現(xiàn)的離散prompts。Zhong 等人先用一個(gè)離散prompt搜索方法定義了一個(gè)模板，然后基于該模板初始化虛擬的token，最后微調(diào)這些token的embedding以提高準(zhǔn)確率。

Hard-Soft Prompt Hybrid Tuning. 這類方法可以說(shuō)是手工設(shè)計(jì)和自動(dòng)學(xué)習(xí)的結(jié)合，它通常不單純使用可學(xué)習(xí)的prompt模板，而是在手工設(shè)計(jì)的模板中插入一些可學(xué)習(xí)的embedding。Liu等人提出了“P-Tuning”方法，通過(guò)在input embedding中插入可訓(xùn)練的變量來(lái)學(xué)習(xí)連續(xù)的prompts。

并且，該方法使用BiLSTM的輸出來(lái)表示prompt embeddings，以便讓prompt tokens之間有一定的交互。P-tuning還引入了任務(wù)相關(guān)的anchor tokens（例如關(guān)系提取中的“capital”）來(lái)進(jìn)一步提高效果，這些anchor tokens不參與后續(xù)的調(diào)優(yōu)。

Han等人提出了Prompt Tunning with Rules（PTR）方法，使用手工指定的子模板按照邏輯規(guī)則組裝成完整的模板。為了增強(qiáng)生成的模板的表示能力，該方法還插入了幾個(gè)虛擬token，這些虛擬token的embeddings可以和PLM的參數(shù)一起被調(diào)整，PTR的模板token既有實(shí)際token也有虛擬token 。實(shí)驗(yàn)結(jié)果證明了該方法在關(guān)系分類任務(wù)中的有效性。

四、Prompt的挑戰(zhàn)與展望

盡管Prompt相關(guān)研究搞得如火如荼，但目前仍存在許多問(wèn)題，值得研究者們?nèi)ヌ剿鳌?/p>

Prompt的設(shè)計(jì)問(wèn)題。目前使用Prompt的工作大多集中育分類任務(wù)和生成任務(wù)，其它任務(wù)則較少，因?yàn)槿绾斡行У貙㈩A(yù)訓(xùn)練任務(wù)和prompt聯(lián)系起來(lái)還是一個(gè)值得探討的問(wèn)題。另外，模板和答案的聯(lián)系也函待解決。模型的表現(xiàn)同時(shí)依賴于使用的模板和答案的轉(zhuǎn)化，如何同時(shí)搜索或者學(xué)習(xí)出兩者聯(lián)合的最好效果仍然很具挑戰(zhàn)性。

Prompt的理論分析和可解釋性。盡管Prompt方法在很多情況下都取得了成功，但是目前prompt-based learning的理論分析和保證還很少，使得人們很難了解Prompt為什么能達(dá)到好的效果，又為什么在自然語(yǔ)言中意義相近的Prompt有時(shí)效果卻相差很大。

Prompt在PLM debias方面的應(yīng)用。由于PLM在預(yù)訓(xùn)練過(guò)程中見(jiàn)過(guò)了大量的人類世界的自然語(yǔ)言，所以很自然地受到了影響。拿一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)，可能不太恰當(dāng)，比如說(shuō)訓(xùn)練語(yǔ)料中有很多的“The capital of China is ”Beijing.“，導(dǎo)致模型認(rèn)為下次看到”capital“ 的時(shí)候都會(huì)預(yù)測(cè)出”Beijing“，而不是著重看到底是哪個(gè)國(guó)家的首都。

在應(yīng)用的過(guò)程中，Prompt還暴露了PLM學(xué)習(xí)到的很多其它bias，比如種族歧視、恐怖主義、性別對(duì)立等等。已有相關(guān)研究關(guān)注是否可以利用Prompt來(lái)對(duì)這些bias進(jìn)行修正，但還處在比較初級(jí)的階段，這也會(huì)是一個(gè)值得研究的方向。

五、引用

［1］ Liu P， Yuan W， Fu J， et al. Pre-train， Prompt， and Predict： A Systematic Survey of Prompting Methods in Natural Language Processing［J］。 arXiv preprint arXiv:2107.13586， 2021.

編輯：jq