一、引言

知識圖譜和大型語言模型都是用來表示和處理知識的手段。不同于大型語言模型，知識圖譜中的知識通常是結(jié)構(gòu)化的，這樣的結(jié)構(gòu)讓其具有更強的準確性和可解釋性。知識圖譜嵌入（Knowledge Graph Embedding，KGE）是一種將知識圖譜中的實體和關(guān)系轉(zhuǎn)化為低維度、連續(xù)的向量空間表示的技術(shù)。這種轉(zhuǎn)化使得復(fù)雜的關(guān)系和屬性能夠以向量形式表達，從而便于機器學習算法進行處理。這些技術(shù)為各種知識密集型任務(wù)（例如信息檢索、問答和推薦系統(tǒng)）提供了寶貴的后端支持。最近的一些工作表明，基于預(yù)訓練語言模型的知識圖譜嵌入可以充分利用文本信息進而取得較好的知識圖譜表示性能。

然而，現(xiàn)有的知識圖譜嵌入模型一般是作為一個靜態(tài)工件被部署在服務(wù)中，一經(jīng)訓練好知識圖譜表示模型就很難適應(yīng)新出現(xiàn)的實體以及處理事實知識發(fā)生修改的情況，比如，如果讓一個在2021年以前訓練的知識圖譜表示模型去預(yù)測<美國、現(xiàn)任總統(tǒng)、？>，那么它最有可能給出的答案是唐納德·特朗普。但是隨著美國總統(tǒng)大選舉行，總統(tǒng)換屆，到2021年總統(tǒng)就變成了喬·拜登。因此，如何高效地修改其中過時或錯誤的知識成為了一個挑戰(zhàn)。為解決這一問題，本文提出了一種基于預(yù)訓練語言模型的知識圖譜嵌入編輯方法——KGEditor。不同于直接編輯大型語言模型內(nèi)部的知識，知識圖譜嵌入編輯是針對知識圖譜中的事實性知識進行操作。并且編輯知識圖譜嵌入需要考慮知識的復(fù)雜結(jié)構(gòu)，比如一對多，多對多等知識結(jié)構(gòu)。

二、方法

（1）任務(wù)定義

隨著外部世界的變化，需要將新的事實加入到現(xiàn)有KG中去。因此有必要將這些新的三元組知識靈活地插入到KGE中。所以引出了第二個子任務(wù)ADD，其目的是將前一階段訓練中沒有的全新知識植入到模型中去，這類似于KG中的歸納推理設(shè)置，但是整個模型是不需要重新訓練的。這兩種任務(wù)示意如圖所示：

本文將編輯KGE模型的任務(wù)整體定義如下：

（2）Metrics

Success@1 metric (Succ@k): KGE編輯的可靠性是通過鏈接預(yù)測來判斷是否將原有錯誤的知識成果修改回來。為了驗證編輯效果的有效性，本文采用了知識圖譜補全的設(shè)定，即通過對候選實體分數(shù)進行排名，生成一個實體列表。通過計算正確實體出現(xiàn)在位置K來定義修改后的模型的可靠性，定義為Success@1 metric (Succ@k)，其公式如下：

Retaining Knowledge Rate of Change: 知識穩(wěn)定性是試圖去評估編輯方法在成功更新特定三元組知識時，是否對知識圖譜表示模型獲取的其余知識O^x帶來了影響。本文這里主要采用兩種評估方式來探究編輯方法對于知識圖譜表示模型的影響大小，分別是知識保持率和知識的變化率。知識保持率Retain Knowledge (RK@k)代表的是原始模型預(yù)測的實體，在編輯完成后仍然能夠正確推斷出來的概率。首先本文設(shè)定了一個專門用于穩(wěn)定性測試的數(shù)據(jù)集：L-test。L-test數(shù)據(jù)集收集了原始模型預(yù)測出來的Top 1的三元組數(shù)據(jù)，作為觀測數(shù)據(jù)集。如果編輯前后的KGE模型預(yù)測相對應(yīng)的三元組預(yù)測保持不變，則認為編輯遵循知識局部性，即不會影響其余事實。通過計算保留知識局部性的比例作為知識編輯穩(wěn)定性的衡量標準，其定義如下所示：

Edited Knowledge Rate of Change: 為了更好觀察編輯對穩(wěn)定性影響的大小，本文引入了兩個額外的指標來衡量編輯帶來的影響大小。即編輯知識的變化率（Edited Knowledge Rate of Change）和保留知識的變化率（Retaining Knowledge Rate of Change），兩個公式定義如下：

(3)模型選擇

本文采用的知識圖譜嵌入模型都是基于預(yù)訓練的知識圖譜嵌入模型。文中將這類模型進一步細分為兩種形式：其一是以KG-BERT為代表的FT-KGE（Finetuning Knowledge Graph Embedding）模型，其二是以NN-KG代表的PT-KGE（Prompt Tuning Knowledge Graph Embedding）模型。

FT-KGE，如KG-BERT，KG-BERT將KG中的三元組視為文本序列。這類方法通過對由[SEP]和[CLS]等特殊token連接的關(guān)系和實體的三元組的描述進行訓練，然后將描述序列作為微調(diào)的輸入。通常使用[CLS]來進行二元分類來判斷三元組的合法性，注釋如下：

(4)Datasets

為了構(gòu)建知識圖譜編輯數(shù)據(jù)集，本文借助了目前知識圖譜中常見的兩個基準數(shù)據(jù)集：FB15k237和WN18RR。

EDIT Task：未來確定編輯對象，本文收集了在KGE模型鏈接預(yù)測任務(wù)上具有挑戰(zhàn)性的數(shù)據(jù)。即本文采樣了鏈接預(yù)測中，實體排序在2,500以上的數(shù)據(jù)（模型難以預(yù)測正確的三元組補全數(shù)據(jù)）。對于穩(wěn)定性測試集，本文將模型原本能夠預(yù)測保持在top k的數(shù)據(jù)保留下來，做為L-test數(shù)據(jù)集。其構(gòu)建的具體流程如圖所示：

ADD Task：對于ADD任務(wù)數(shù)據(jù)集構(gòu)建，本文采用了知識圖譜補全任務(wù)中的歸納推理任務(wù)設(shè)定（利用已有的知識圖譜中的信息來預(yù)測或推斷缺失的關(guān)系和實體），測試數(shù)據(jù)集中的實體知識都是在訓練中沒有見過的，所以可以看作為新增的知識。

在FB15k-237和WN18RR上本文都采用相同的數(shù)據(jù)集設(shè)定，處理方式也保持一致。通過以上操作，本文最終可以得到以下四個數(shù)據(jù)集：E-FB15k237，A-FB15k237，E-WN18RR，和A-WN18RR。其中具體的統(tǒng)計如表所示：

(5)KGEditor

本文首先在一些通用的知識編輯方法上進行初步的實驗測定，發(fā)現(xiàn)現(xiàn)有的知識編輯方法存在以下問題。首先基于額外參數(shù)的編輯方法CaliNet不管是在Edit還是ADD任務(wù)上，表現(xiàn)都比較一般，其效果不如給予額外模型的編輯方法，如MEND和KE等。但是MEND和KE的編輯效率是低的，其額外模型的參數(shù)需要去生成網(wǎng)絡(luò)參數(shù)，所以其編輯所需要訓練的參數(shù)也會隨著隱藏層緯度的增大而增加，不會比微調(diào)的方式更節(jié)約資源。所以本文總結(jié)兩種方法的優(yōu)缺點，通過綜合兩者的優(yōu)勢，提出了一個新的編輯方法：Knowledge Graph Embeddings Editor（KGEditor），其具體示意如圖所示：

KGEditor可以在不丟失編輯性能的前提下，盡可能節(jié)約編輯的資源開銷。這樣可以節(jié)約更多的資源實現(xiàn)更加高效的編輯。直觀上來講，本文構(gòu)建了一個與FFN架構(gòu)相同的附加層，并利用其參數(shù)進行知識編輯。但是額外FFN層的參數(shù)不是依靠微調(diào)訓練，而是利用額外的超網(wǎng)絡(luò)來生成附加層的額外調(diào)整參數(shù)。其公式如下：

三、實驗

(1)實驗結(jié)果

本文利用現(xiàn)有的一些主流知識編輯范式與KGEditor進行比較，其中具體包括CALINET、MEND和Knowledge Editor。為了對照，本文對一些其他基礎(chǔ)范式基線也進行了對比，首先是直接在少量更新知識上進行微調(diào)的范式和Zero-Shot的方法。其次對于K-Adapter這種使用額外參數(shù)的方法與CALINET進行比較，其中具體的實驗結(jié)果如下所示。

此外，本文還研究了在知識圖譜表示編輯過程中，不同數(shù)量的編輯事實對模型性能的影響。通過在E-FB15k237數(shù)據(jù)集上進行不同數(shù)量編輯的實驗，本文分析了編輯數(shù)量對知識可靠性和局部性的影響。其中主要關(guān)注三種模型：KE、MEND以及KGEditor在不同編輯數(shù)量下的表現(xiàn)，結(jié)果如下所示。

本文還探討和評估不同基于預(yù)訓練的知識圖譜表示初始化方法在編輯范式上的應(yīng)用效果。通過在EDIT任務(wù)上對FT-KGE和PT-KGE的方法進行實驗，本文分析了它們在知識可靠性和局部性方面的性能表現(xiàn)，結(jié)果如圖所示。

(2)Case分析

我們隨機挑選了一個編輯的Case，并通過可視化展示了編輯前后的實體變化來更清晰地觀察KGEditor的性能表現(xiàn)。下圖展示了知識編輯應(yīng)用前后，預(yù)測實體位置的顯著變化。即在對模型進行編輯后，正確的實體明顯靠近圓心，展示了編輯KGE模型的有效性。

四、Demo

為了方便讀者更直觀了解我們的工作，我們在huggingface的Space平臺，利用Gradio去搭建了一個簡易Demo。我們會在結(jié)果處展示編輯前后預(yù)測實體的變化，具體如下圖所示。

五、總結(jié)

本文主要介紹了知識圖譜嵌入模型的編輯工作。區(qū)別于傳統(tǒng)的編輯預(yù)訓練語言模型的任務(wù)，KGE編輯是基于知識圖譜中的事實性知識進行操作。此外，本文提出了一個新的編輯方法——KGEditor。KGEditor是一種高效修改模型中知識的一種方法，能夠有效地節(jié)約計算資源的開銷。此外，我們的工作還有一些不足之處，比如如何去編輯知識圖譜中的一對多以及多對多知識？如何在KGE模型中做到持續(xù)更新？這都是一些未來的工作。

本文轉(zhuǎn)載自：??ZJUKG??

作者：程思源