復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室桂韜、張奇課題組發(fā)布信息抽取統(tǒng)一大模型 Instruct-UIE，在領(lǐng)域大模型上取得突破性進(jìn)展。Instruct-UIE 在信息抽取精度上全面大幅度超越ChatGPT以及基于預(yù)訓(xùn)練微調(diào)的單一小模型。

自2022年11月 ChatGPT 橫空出世以來(lái)，其在對(duì)話、閱讀理解、對(duì)話、代碼生成等方面優(yōu)異性能，受到了極大的關(guān)注。大模型所展現(xiàn)出來(lái)的長(zhǎng)文本建模能力以及多任務(wù)統(tǒng)一學(xué)習(xí)能力使得自然語(yǔ)言處理范式正在發(fā)生快速變革。

在對(duì) GPT 系列工作進(jìn)行了詳細(xì)分析[1][2]后，我們發(fā)現(xiàn)雖然 ChatGPT 在很多任務(wù)上都展現(xiàn)出了良好的性能，但是在包括命名實(shí)體識(shí)別、關(guān)系抽取、事件抽取等在工業(yè)界有廣泛應(yīng)用的信息抽取任務(wù)上效果卻亟待提升。ChatGPT 在某些命名實(shí)體識(shí)別數(shù)據(jù)集合上的的精度甚至只有不到20%。但是大模型所展示出來(lái)的多任務(wù)統(tǒng)一學(xué)習(xí)能力，驅(qū)使我們針對(duì)信息抽取領(lǐng)域的統(tǒng)一大模開(kāi)展了深入研究。

實(shí) 驗(yàn) 結(jié) 果

針對(duì)信息抽取任務(wù)，我們收集了包括 ACE 2005、ConLL 2003 等在內(nèi)的41種評(píng)測(cè)集合，針對(duì)Flan-T5、Bloomz、LLama 等大模型進(jìn)行了系統(tǒng)研究，構(gòu)建了信息抽取統(tǒng)一大模型Instruct-UIE。該模型在絕大部分信息抽取任務(wù)中（85%以上）都超越了單個(gè)小模型的預(yù)訓(xùn)練微調(diào)結(jié)果。

Instruct-UIE 統(tǒng)一了信息抽取任務(wù)訓(xùn)練方法，可以融合不同類(lèi)型任務(wù)以及不同的標(biāo)注規(guī)范，統(tǒng)一進(jìn)行訓(xùn)練。針對(duì)新的任務(wù)需求，僅需要少量的數(shù)據(jù)進(jìn)行增量式學(xué)習(xí)，即可完成模型的升級(jí)。

小模型時(shí)代任務(wù)，模型開(kāi)發(fā)需要經(jīng)過(guò)標(biāo)注數(shù)據(jù)，訓(xùn)練模型，模型評(píng)測(cè)和模型部署等多個(gè)步驟。其顯著缺點(diǎn)是成本高、時(shí)間周期長(zhǎng)；相同任務(wù)的微小需求變化，需要30%-70%的重新開(kāi)發(fā)成本；模型開(kāi)發(fā)和維護(hù)成本高等問(wèn)題都極大地制約了自然語(yǔ)言處理產(chǎn)品化。

而在大模型時(shí)代，我們可以將大量各類(lèi)型任務(wù)，統(tǒng)一為生成式自然語(yǔ)言理解框架，并構(gòu)造訓(xùn)練語(yǔ)料進(jìn)行微調(diào)。由于大模型所展現(xiàn)出來(lái)的通用任務(wù)理解能力和未知任務(wù)泛化能力，使得未來(lái)自然語(yǔ)言處理的研究范式進(jìn)一步發(fā)生變化。這樣的研究范式使得小模型時(shí)代所面臨的問(wèn)題可以在一定程度上可以得到解決。針對(duì)新任務(wù)和需求，基于大模型的方法可以快速訓(xùn)練，并且不需要部署新的模型，從而實(shí)現(xiàn)自然語(yǔ)言處理的低成本產(chǎn)品化。

InstructUIE 工作驗(yàn)證了領(lǐng)域大模型的可行性，針對(duì)B端場(chǎng)景，百億級(jí)領(lǐng)域模型具有高效、成本低、可私有化部署等優(yōu)勢(shì)，在行業(yè)應(yīng)用中具有廣闊前景。我們將近期開(kāi)源相關(guān)代碼和模型。

審核編輯 ：李倩