一、概述

Title: InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction

Paper: https://arxiv.org/abs/2304.08085

1 Motivation

大語言模型解鎖了非常強(qiáng)的多任務(wù)能力，但是大模型在信息抽取任務(wù)上表現(xiàn)比較差，例如gpt-3.5-turbo在Ontonotes數(shù)據(jù)集上的f1只有18.22。

2 Methods

2.1 整體結(jié)構(gòu)

說明：

1）基于Instruction tuning技術(shù)，實(shí)現(xiàn)了一個(gè)信息抽取的統(tǒng)一框架，可以實(shí)現(xiàn)各式各樣的信息抽取任務(wù)，并且能挖掘內(nèi)部任務(wù)之間的依賴關(guān)系。

2）將三大信息抽取任務(wù)都轉(zhuǎn)化成Multi-Task Instruction Tuning的形式來解決。每個(gè)部分包括Instruction，Options，text三個(gè)輸入，并且按照特定格式輸出最終結(jié)果。

2.2 引入輔助任務(wù)（子任務(wù)）提高精度

說明：為了在更細(xì)粒度的水平上提高性能，設(shè)計(jì)了與主要任務(wù)一起訓(xùn)練的輔助任務(wù)，其中對(duì)于實(shí)體抽取、關(guān)系抽取、事件抽取分別設(shè)置了不同的輔助任務(wù)。詳情如下：

1. 實(shí)體識(shí)別輔助任務(wù)：引入了跨度提取任務(wù)（span extraction task）和實(shí)體類型（entity typing task）任務(wù)?？缍忍崛∪蝿?wù)旨在從輸入句中提取實(shí)體跨度，而實(shí)體類型任務(wù)旨在識(shí)別實(shí)體的類型。
2. 關(guān)系抽取輔助任務(wù)：實(shí)體對(duì)提取任務(wù)旨在提取關(guān)系中涉及的實(shí)體對(duì)，而關(guān)系分類任務(wù)旨在對(duì)實(shí)體對(duì)之間的關(guān)系類型進(jìn)行分類。
3. 事件抽取輔助任務(wù)：觸發(fā)器提取任務(wù)旨在提取觸發(fā)事件的觸發(fā)詞，而參數(shù)提取任務(wù)旨在提取相關(guān)的論點(diǎn)。

2.3 prompts樣例

說明：prompts中按照不同的任務(wù)給出instructions，并且給出輸出格式要求

2.4 提出了新的評(píng)測(cè)benchmark

提出了IE INSTRUCTIONS，32個(gè)不同信息提取數(shù)據(jù)集的基準(zhǔn)（benchmark），采用統(tǒng)一的文本到文本格式，帶有有專家編寫的instructions，用于評(píng)測(cè)本文方法的有效性。

3 Conclusion

1. 實(shí)驗(yàn)結(jié)果表明，本文方法在監(jiān)督環(huán)境中實(shí)現(xiàn)了與Bert相當(dāng)?shù)男阅埽⑶以趜ero-shot設(shè)置中優(yōu)于最先進(jìn)的和gpt3.5

1000個(gè)樣本監(jiān)督學(xué)習(xí)：取得了和BERT監(jiān)督學(xué)習(xí)可比較的一個(gè)效果。

zero-shot：在zero-shot的能力上取得了sota，比gpt3.5sota也好得多。

2. 利用一個(gè)multi-task模型可以解決大量的任務(wù)

二、詳細(xì)內(nèi)容

1 與UIE以及USM等方法對(duì)比

不同方法優(yōu)缺點(diǎn)總結(jié)：

1）LMM：例如chatgpt等大模型在IE任務(wù)中表現(xiàn)不佳，本文提出InstructUIE探索大模型解決信息抽取新范式。

2）UIE：text-to-structure，對(duì)于不同的下游任務(wù)，需要單獨(dú)進(jìn)行finetune，遇到新label schema或者低資源情況下效果比較差。

3）USM: 是一個(gè)統(tǒng)一的IE任務(wù)框架，它將IE任務(wù)轉(zhuǎn)換為se-mantic匹配問題。缺點(diǎn)一：它將IE轉(zhuǎn)換為語義匹配任務(wù)，這使得很難與生成語言模型集成。缺點(diǎn)二：該方法要求對(duì)每個(gè)單詞進(jìn)行語義匹配，這導(dǎo)致訓(xùn)練和推理時(shí)間顯著增加。

2 Experiments

2.1 有監(jiān)督學(xué)習(xí)（每個(gè)數(shù)據(jù)集10000樣本）

實(shí)體抽取結(jié)果：

關(guān)系抽取和事件抽取結(jié)果：

結(jié)論：

1. NER：所有數(shù)據(jù)集都只有1萬的訓(xùn)練集，平均F1 85%，超過了BERT的80%，20個(gè)任務(wù)有17個(gè)都超過BERT，很多超過了5個(gè)點(diǎn)，最多超過25個(gè)點(diǎn)，落敗的數(shù)據(jù)集上訓(xùn)練集只有別人的20%，但是模型比BERT大很多。

2. RE：平均f1: 67.98%。

3. EE：Event trigger f1: 71.69%，Event Argument F1 metric，比UIE和SUM都好很多。

實(shí)驗(yàn)設(shè)置詳情：

1）Backbone：11B TlanT5

2）Dataset：IE INSTRUCTIONS涉及三種信息抽取任務(wù)，named entity extraction, relation extraction, and event extraction，每個(gè)數(shù)據(jù)集sample10000數(shù)據(jù)

3）對(duì)比Baseline：UIE：text-to-structure generation framework，USM：將IE任務(wù)轉(zhuǎn)化成語義匹配任務(wù)，BERT

4）Metrics：Micro-F1，NER：實(shí)體邊界和類型都要對(duì)，RE：主實(shí)體，副實(shí)體，關(guān)系都要對(duì)。EE事件觸發(fā)：觸發(fā)類型和觸發(fā)詞都要對(duì)，事件參數(shù)：role type 和 event type匹配

2.2 few-shot結(jié)果（非訓(xùn)練集評(píng)測(cè)）

?

結(jié)論：

1. NER：血洗了之前的few-shot方法，提升幅度在5.21%-25.27之間
2. RE：同樣血洗之前方法，提升了4-6個(gè)點(diǎn)（33%->39%）。

2.3 與chatgpt對(duì)比

結(jié)論：在信息抽取任務(wù)上，比chatgpt效果要好非常多

三、總結(jié)

1. 信息抽取是一個(gè)定制化的比較難的任務(wù)，和場(chǎng)景關(guān)系密切。原始chatglpt在信息抽取任務(wù)上效果比較差，現(xiàn)在想想也是正常，因?yàn)樾畔⒊槿∪蝿?wù)和任務(wù)場(chǎng)景密切相關(guān)，并且標(biāo)注難度高。對(duì)于實(shí)體類型的定義沒有一個(gè)明確的標(biāo)準(zhǔn)，chatgpt就比較難以理解。例如標(biāo)注人名，多個(gè)人分開標(biāo)注還是一起標(biāo)注，人工標(biāo)注可能一致性都不太高。
2. 針對(duì)信息抽取任務(wù)構(gòu)建指令遵循進(jìn)行SFT訓(xùn)練可以進(jìn)一步提升大模型在信息抽取任務(wù)上的表現(xiàn)。最重要的是構(gòu)建指令，選項(xiàng)，答案的形式，讓模型在信息抽取任務(wù)的指令遵循能力得到增強(qiáng)，因?yàn)榭赡躢hatgpt等模型構(gòu)建數(shù)據(jù)集的時(shí)候，可能更偏向一些常規(guī)任務(wù)的解決，信息抽取指令數(shù)據(jù)偏少。
3. 引入額外的輔助任務(wù)可以讓大模型更好地理解信息抽取任務(wù)。本文對(duì)于實(shí)體識(shí)別、關(guān)系抽取、事件抽取分別引入了額外的輔助子任務(wù)，并且通過統(tǒng)一的指令形式來構(gòu)建任務(wù)，加強(qiáng)子任務(wù)的理解，從而也可以提升全局信息的表現(xiàn)。

四、參考

[1] Wang X, Zhou W, Zu C, et al. InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction[J]. arXiv preprint arXiv:2304.08085, 2023.

本文轉(zhuǎn)載自?? NLP PaperWeekly??，作者： NLP PaperWeekly