知識圖譜（Knowledge Graphs）是一種結(jié)構(gòu)化的，用于展示和管理信息，組織現(xiàn)實世界知識的形式。其通常被表達(dá)為三元組形式（<頭實體，關(guān)系，尾實體>）。KGs 為問答系統(tǒng)、推薦系統(tǒng)和搜索引擎等各種實際應(yīng)用提供了極其重要支持。

然而現(xiàn)有知識圖譜的顯著不完整性嚴(yán)重限制了其在實際應(yīng)用中的有效性。

同時，在現(xiàn)實實際應(yīng)用中，知識圖譜中的關(guān)系呈現(xiàn)長尾分布，即大多數(shù)關(guān)系只有少量相關(guān)的三元組。這種稀缺導(dǎo)致了模型對于長尾關(guān)系的泛化能力不足，從而使得知識圖譜補全模型的整體效果較差 (Few-shot Learning) 。

進一步，隨著時間的推演，越來越多的新關(guān)系被添加到關(guān)系集中，并在不同時間點集成到知識圖譜中。這意味著模型不僅需要學(xué)習(xí)當(dāng)前階段的知識更需要記住在之前階段學(xué)習(xí)過的知識 (Continual Learning) 。

最近，上海大學(xué)的本科生李卓風(fēng)、張灝翔（第一作者以及共同第一作者）在信息檢索和數(shù)據(jù)挖掘領(lǐng)域頂級學(xué)術(shù)會議CIKM 2024上發(fā)表了一篇文章，首次提出了在持續(xù)學(xué)習(xí) (Continual Learning) 和少樣本 (Few-shot) 的場景下對知識圖譜進行補全，提供了一套全面且有效的框架來處理這一問題。

論文標(biāo)題：Learning from Novel Knowledge: Continual Few-shot Knowledge Graph Completion

論文鏈接：https://dl.acm.org/doi/10.1145/3627673.3679734

代碼鏈接：https://github.com/cfkgc-paper/CFKGC-paper/tree/main

該研究的發(fā)表將有助于提高知識圖譜補全（KGC）模型在實際應(yīng)用中的泛化能力，使其能夠更好地適應(yīng)動態(tài)環(huán)境和數(shù)據(jù)稀缺的場景，從而推動相關(guān)領(lǐng)域的應(yīng)用發(fā)展。

通過提供有效的解決方案，本研究為后續(xù)研究奠定了基礎(chǔ)，同時也為實際應(yīng)用提供了重要的參考。

研究背景

目前在持續(xù)學(xué)習(xí) (Continual Learning) 和少樣本 (Few-shot) 的場景下對知識圖譜進行補全面臨兩大挑戰(zhàn)：

1. 災(zāi)難性遺忘問題，即模型在不斷學(xué)習(xí)新關(guān)系時，對之前學(xué)到的關(guān)系的推理性能下降。這會導(dǎo)致模型退化和對稀有關(guān)系的推斷能力大幅減弱。

2. 新關(guān)系的稀缺導(dǎo)致模型在稀有關(guān)系上的泛化能力不足。

為解決這些挑戰(zhàn)，該研究提出了一個完整且有效的知識圖譜補全框架，以適應(yīng)不斷出現(xiàn)的少量的關(guān)系。

1. 為了解決災(zāi)難性遺忘問題，研究人員從數(shù)據(jù)和模型兩個維度入手。

在數(shù)據(jù)層面，通過特定的指標(biāo)評估每個三元組在知識圖譜中的重要性，包括拓?fù)涓兄完P(guān)系異質(zhì)感知系數(shù)；利用這些重要性得分，可以識別出并存儲來自最重要的三元組；這些緩存的三元組可以在優(yōu)化過程中重放，以應(yīng)對新關(guān)系的出現(xiàn)，確保模型回憶起最重要的知識。

在模型層面，研究人員實施了一種參數(shù)凍結(jié)的策略。在每個階段，模型會識別與當(dāng)前任務(wù)相關(guān)的一個模型子網(wǎng)絡(luò)，并將其凍結(jié)，從而有效減輕遺忘問題。

2. 為了解決關(guān)系的稀缺導(dǎo)致模型在稀有關(guān)系上的泛化能力不足的問題，研究人員引入了一種多視角關(guān)系增強技術(shù)。該方法通過自監(jiān)督學(xué)習(xí)提升模型的泛化能力。

技術(shù)方法

三元組的記憶回放

為了緩解災(zāi)難性遺忘問題，研究人員從數(shù)據(jù)和模型兩個層面提出了解決方案。在數(shù)據(jù)層面，通過特別設(shè)計的指標(biāo)來評估每個實體的重要性，并在內(nèi)存中存儲最重要的三元組。

這些緩存的三元組可以在新關(guān)系出現(xiàn)時進行重播，以確保模型能夠回憶起最重要的知識。

具體來說，從兩個角度評估實體的重要程度：

1. 拓?fù)涓兄匾取Ｔ谥R圖譜中，一個實體的重要性應(yīng)當(dāng)由與其相連的其他實體的重要性共同決定。

其中du表示實體u的出邊數(shù)量，N(v)表示實體v在Gr中的鄰居集合。是實體v的最終拓?fù)涓兄匾缘梅帧?/span>

2. 除了拓?fù)浣Y(jié)構(gòu)外，還考慮了實體參與關(guān)系的多樣性，即關(guān)系異質(zhì)性感知重要度：

其中|Rv|表示實體v連接的不同關(guān)系數(shù)量。

最終，可以計算三元組的重要性分?jǐn)?shù)：

元學(xué)習(xí)器的調(diào)制

文中進一步在模型層面實施了參數(shù)調(diào)制策略來保存最重要的參數(shù)。

具體來說，首先使用權(quán)重分?jǐn)?shù)s來衡量網(wǎng)絡(luò)參數(shù)的重要性：

然后，通過下面的優(yōu)化公式來更新模型參數(shù)：

θ是元學(xué)習(xí)器參數(shù)，Qr代表關(guān)系集，是學(xué)習(xí)率，表示之前會話中識別的子網(wǎng)絡(luò)掩碼的并集。

通過這種參數(shù)調(diào)制機制，可以在學(xué)習(xí)新任務(wù)時保護已獲得的重要知識，從而有效緩解災(zāi)難性遺忘問題。

增強少樣本和自監(jiān)督學(xué)習(xí)

通過引入基于自監(jiān)督的多視圖關(guān)系增強技術(shù)來增強模型的泛化能力，通過兩種擾動方式生成關(guān)系的不同視圖。

1. 元學(xué)習(xí)器參數(shù)擾動：

2. 輸入實體嵌入擾動：

然后通過對比學(xué)習(xí)損失來優(yōu)化：

其中τ是溫度參數(shù)，一個 Batch 之內(nèi)的關(guān)系集。與分別代表經(jīng)過1或者2擾動之后生成的關(guān)系。

實驗結(jié)果

研究人員在 NELL-ONE 和 Wiki-ONE 兩個數(shù)據(jù)集上對模型進行持續(xù)學(xué)習(xí)以及小樣本學(xué)習(xí)的全面驗證。

持續(xù)學(xué)習(xí)能力

該框架在持續(xù)學(xué)習(xí)方面的表現(xiàn)，與基線模型相比，能夠顯著減輕災(zāi)難性遺忘，且該模型不僅能有效保留先前會話的知識，還在后續(xù)會話中表現(xiàn)出更好的性能。該框架相對于基線模型，在減輕災(zāi)難性遺忘方面顯示出顯著優(yōu)勢。

例如，在NELL-One數(shù)據(jù)集中，方法在后續(xù)任務(wù)（Task1至Task7）中，平均比第二佳的基線方法改進了+13.3%，而在Wiki-One數(shù)據(jù)集中，平均改進為+27.0%。這表明該模型不僅有效地保留了之前學(xué)習(xí)會話的知識，還在隨后的學(xué)習(xí)任務(wù)中展示了更優(yōu)越的性能。

少樣本學(xué)習(xí)能力

在快速適應(yīng)新的學(xué)習(xí)進程中的未見關(guān)系時，模型能夠維持穩(wěn)定或增強的少樣本學(xué)習(xí)性能。

相反，基線模型由于每個新會話中元任務(wù)數(shù)量有限，表現(xiàn)出明顯的性能下降。這進一步證明了提出的多視角關(guān)系增強策略在解決與元任務(wù)稀缺相關(guān)的過擬合問題中的有效性。

模型在少樣本學(xué)習(xí)方面顯示了出色的性能，特別是在快速適應(yīng)未見關(guān)系的新學(xué)習(xí)環(huán)境中。

以NELL-One數(shù)據(jù)集為例，MRR指標(biāo)相較于第一個task（11.1%），模型在最后一個任務(wù)中表現(xiàn)出11.35%的性能，期間最高達(dá)到12.55%。

在Wiki-One數(shù)據(jù)集中，從基線的38.9%提高到了最后一個任務(wù)的40.05%，相對于其他的方法——隨著更新的知識的學(xué)習(xí)，小樣本性能也在下降，模型實現(xiàn)了對于更好的小樣本學(xué)習(xí)性能的保持。

結(jié)果驗證了所提出的多視角關(guān)系增強策略在緩解元任務(wù)稀缺導(dǎo)致的過擬合問題上的高效性。

結(jié)果表明模型不僅可以充分記住先前階段的知識同時還可以有效學(xué)習(xí)新的知識。

消融實驗

總結(jié)

本篇文章探討了在持續(xù)學(xué)習(xí)以及少量樣本的場景下對知識圖譜補全的問題，提出了一種全面且有效的框架，旨在應(yīng)對災(zāi)難性遺忘以及少樣本帶來的挑戰(zhàn)。

該方案包括三元組重演策略，模型參數(shù)調(diào)制策略，多視角關(guān)系增強策略。該研究的發(fā)表將有助于提高知識圖譜補全（KGC）模型在實際應(yīng)用中的泛化能力，使其能夠更好地適應(yīng)動態(tài)環(huán)境和數(shù)據(jù)稀缺的場景，從而推動相關(guān)領(lǐng)域的應(yīng)用發(fā)展。

通過提供有效的解決方案，本研究為后續(xù)研究奠定了基礎(chǔ)，同時也為實際應(yīng)用提供了重要的參考。