句法敏感的實(shí)體表示用于神經(jīng)網(wǎng)絡(luò)關(guān)系抽取。關(guān)系抽取任務(wù)大規(guī)模應(yīng)用的一個(gè)主要瓶頸就是語(yǔ)料的獲取。近年來(lái)基于神經(jīng)網(wǎng)絡(luò)的關(guān)系抽取模型把句子表示到一個(gè)低維空間。這篇論文的創(chuàng)新在于把句法信息加入到實(shí)體的表示模型里。

首先，基于Tree-GRU，把實(shí)體上下文的依存樹(shù)放入句子級(jí)別的表示。其次，利用句子間和句子內(nèi)部的注意力，來(lái)獲得含有目標(biāo)實(shí)體的句子集合的表示。

研究背景和動(dòng)機(jī)

關(guān)系抽取任務(wù)大規(guī)模應(yīng)用的一個(gè)主要瓶頸就是語(yǔ)料的獲取。遠(yuǎn)程監(jiān)督模型通過(guò)將知識(shí)庫(kù)應(yīng)用于非結(jié)構(gòu)化文本對(duì)齊來(lái)自動(dòng)構(gòu)建大規(guī)模訓(xùn)練數(shù)據(jù)，從而減輕對(duì)人工構(gòu)建數(shù)據(jù)的依賴(lài)程度，并使得模型跨領(lǐng)域適應(yīng)能力得到增強(qiáng)。然而，在利用遠(yuǎn)程監(jiān)督構(gòu)建語(yǔ)料的過(guò)程中，僅僅利用實(shí)體名稱(chēng)進(jìn)行對(duì)齊，而不同實(shí)體在不同關(guān)系下應(yīng)該具有更加豐富的多樣的語(yǔ)義表示，從而導(dǎo)致錯(cuò)誤標(biāo)注等問(wèn)題。因此，一套更加豐富的實(shí)體表示顯得尤為重要。

另一方，基于語(yǔ)法信息的方法通常作用于兩個(gè)實(shí)體之間的關(guān)系上，而語(yǔ)法信息是可以更加豐富實(shí)體的表示的。因此，本文基于句法上下文的實(shí)體表示來(lái)豐富實(shí)體在不同關(guān)系模式下的語(yǔ)義，并結(jié)合神經(jīng)網(wǎng)絡(luò)模型處理關(guān)系抽取任務(wù)。

相關(guān)工作介紹

我們把相關(guān)的工作大致分成早期基于遠(yuǎn)程監(jiān)督的方法和近年來(lái)基于神經(jīng)網(wǎng)絡(luò)模型兩類(lèi)。

為了解決關(guān)系抽取任務(wù)嚴(yán)重依賴(lài)于標(biāo)注語(yǔ)料的問(wèn)題，Mintz et al.(2009)率先提出了基于遠(yuǎn)程監(jiān)督的方法構(gòu)建標(biāo)注語(yǔ)料。然而，這樣構(gòu)建的自動(dòng)標(biāo)注語(yǔ)料含有大量的噪聲。為了緩解語(yǔ)料中噪聲帶來(lái)的影響，Riedel et al.(2010)將關(guān)系抽取看成是一個(gè)多實(shí)例單類(lèi)別的問(wèn)題。進(jìn)一步的，Hoffmann et al.(2011)和Surdeanu et al.(2012)采取了多實(shí)例多類(lèi)別的策略。同時(shí)，采用最短依存路徑作為關(guān)系的一個(gè)語(yǔ)法特征。上述方法典型的缺陷在于模型的性能依賴(lài)于特征模板的設(shè)計(jì)。

近年來(lái)，神經(jīng)網(wǎng)絡(luò)被廣泛的應(yīng)用于自然語(yǔ)言處理任務(wù)上。在關(guān)系抽取領(lǐng)域，Socher et al.(2012)采用循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)處理關(guān)系抽取。Zeng et al.(2014)則構(gòu)建了端到端的卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)一步的，Zeng et al.(2015)假設(shè)多實(shí)例中至少有一個(gè)實(shí)例正確地表示了相應(yīng)的關(guān)系。相比于假設(shè)有一個(gè)實(shí)例表示一對(duì)實(shí)體的關(guān)系，Lin et al.(2016)通過(guò)注意力機(jī)制挑選正面的實(shí)例更充分的使用了標(biāo)注語(yǔ)料含有的信息。

以上這些基于神經(jīng)網(wǎng)絡(luò)的方法大多數(shù)都使用詞層次的表示來(lái)生成句子的向量表示。另一方面，基于語(yǔ)法信息的表示也受到了眾多研究者的青睞，其中最主要的即最短依存路徑(Miwa and Bansal(2016)和Cai et al.(2016))。

主要方法

首先，基于依存句法樹(shù)，利用基于樹(shù)結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)（Tree-GRU）模型生成實(shí)體在句子級(jí)別的表示。如上圖所示，有別于僅僅使用實(shí)體本身，我們能夠更好地表達(dá)出長(zhǎng)距離的信息。具體的實(shí)體語(yǔ)義表示如下圖所示。我們使用Tree-GRU來(lái)獲得實(shí)體的語(yǔ)義表示。

其次，利用基于子節(jié)點(diǎn)的注意力機(jī)制（ATTCE，上圖）和基于句子級(jí)別的實(shí)體表示注意力機(jī)制(ATTEE，下圖)來(lái)減輕句法錯(cuò)誤和錯(cuò)誤標(biāo)注的負(fù)面影響。

實(shí)驗(yàn)結(jié)果

本文在NYT語(yǔ)料上進(jìn)行了實(shí)驗(yàn)。最終結(jié)果如上圖所示。其中，SEE-CAT和SEE-TRAINS分別是本文使用的兩種結(jié)合三種向量表示（句子的向量表示，兩個(gè)實(shí)體的向量表示）的策略。從圖中可以看出，本文提出的模型在相同數(shù)據(jù)集上取得了比現(xiàn)有遠(yuǎn)程監(jiān)督關(guān)系抽取模型更好的性能。

總結(jié)

本文的實(shí)驗(yàn)結(jié)果表明，更豐富的命名實(shí)體語(yǔ)義表示能夠有效地幫助到最終的關(guān)系抽取任務(wù)。

團(tuán)隊(duì)名稱(chēng)：業(yè)務(wù)平臺(tái)事業(yè)部

作者：何正球，陳文亮，張梅山，李正華，張偉，張民