圖學(xué)習(xí)（Graph Learning）技術(shù)能夠?qū)?fù)雜的關(guān)系數(shù)據(jù)進(jìn)行挖掘和學(xué)習(xí)，在推薦系統(tǒng)、社交網(wǎng)絡(luò)分析、引用網(wǎng)絡(luò)和交通網(wǎng)絡(luò)等多個(gè)領(lǐng)域都顯示出了巨大的應(yīng)用價(jià)值。

圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks, GNNs）基于迭代的消息傳遞機(jī)制，能夠捕捉圖結(jié)構(gòu)數(shù)據(jù)中的復(fù)雜高階關(guān)系，在各類圖學(xué)習(xí)應(yīng)用場(chǎng)景中取得了巨大的成功。

通常，這種端到端的圖神經(jīng)網(wǎng)絡(luò)需要大量、高質(zhì)量的標(biāo)注數(shù)據(jù)才能獲得較好的訓(xùn)練效果。

近年來(lái)，一些工作提出圖模型的預(yù)訓(xùn)練-微調(diào)（Pre-training and Fine-tuning）模式，使用各種自監(jiān)督學(xué)習(xí)任務(wù)在無(wú)標(biāo)注的圖數(shù)據(jù)上首先進(jìn)行預(yù)訓(xùn)練，再在少量標(biāo)注數(shù)據(jù)上進(jìn)行微調(diào)，以對(duì)抗監(jiān)督信號(hào)不足的問(wèn)題。這里的自監(jiān)督學(xué)習(xí)任務(wù)包括對(duì)比學(xué)習(xí)、掩碼重建、局部全局互信息最大化等方法。

盡管這種預(yù)訓(xùn)練方法取得了一定的成功，但他們的泛化能力較為有限，特別是當(dāng)預(yù)訓(xùn)練和下游任務(wù)出現(xiàn)分布偏移（Distribution Shift）時(shí)。

例如在推薦系統(tǒng)中，預(yù)訓(xùn)練模型使用較早時(shí)間采集的數(shù)據(jù)，而預(yù)測(cè)時(shí)用戶喜好、商品熱度常常出現(xiàn)變化。

為了解決這一問(wèn)題，一些近期工作提出了針對(duì)圖模型的提示微調(diào)方法，能夠更加高效地將預(yù)訓(xùn)練模型適應(yīng)到下游任務(wù)和數(shù)據(jù)上。

盡管上述工作推進(jìn)了圖神經(jīng)模型的泛化能力，但這些模型全都假設(shè)：訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)有相同的節(jié)點(diǎn)集合和特征空間。

這極大地限制了預(yù)訓(xùn)練圖模型的應(yīng)用范圍。因此，本文探索進(jìn)一步提升圖模型泛化能力的方法。

具體來(lái)說(shuō)，我們希望OpenGraph能夠捕捉通用的拓?fù)浣Y(jié)構(gòu)模式，對(duì)測(cè)試數(shù)據(jù)進(jìn)行零樣本預(yù)測(cè)。即僅通過(guò)前向傳播過(guò)程，就可以對(duì)測(cè)試圖數(shù)據(jù)進(jìn)行高效的特征提取和準(zhǔn)確預(yù)測(cè)。

模型的訓(xùn)練過(guò)程在完全不同的圖數(shù)據(jù)上進(jìn)行，在訓(xùn)練階段不接觸測(cè)試圖的任何元素，包括節(jié)點(diǎn)、邊、特征向量。

為了達(dá)成這一目的，本文需要解決以下三個(gè)挑戰(zhàn)：

C1. 跨數(shù)據(jù)集的Token集合變化

零樣本圖預(yù)測(cè)任務(wù)的一個(gè)顯著困難是，不同的圖數(shù)據(jù)通常有完全不同的圖token集合。具體來(lái)說(shuō)，不同圖的節(jié)點(diǎn)集合通常沒(méi)有交集，并且不同圖數(shù)據(jù)集也經(jīng)常使用完全不同的節(jié)點(diǎn)特征。這使得模型不能通過(guò)學(xué)習(xí)和特定數(shù)據(jù)集的圖token綁定的參數(shù)，來(lái)進(jìn)行跨數(shù)據(jù)集的預(yù)測(cè)任務(wù)。

C2. 高效的節(jié)點(diǎn)間關(guān)系建模

在圖學(xué)習(xí)領(lǐng)域，節(jié)點(diǎn)之間常常存在錯(cuò)綜復(fù)雜的依賴關(guān)系，模型需要對(duì)節(jié)點(diǎn)的局部和全局鄰域關(guān)系進(jìn)行綜合考量。在搭建通用圖模型時(shí)，一個(gè)重要的任務(wù)是能夠高效地建模節(jié)點(diǎn)間關(guān)系，這能夠增強(qiáng)模型在處理大量圖數(shù)據(jù)時(shí)的模型效果和可擴(kuò)展性。

C3. 訓(xùn)練數(shù)據(jù)稀缺

由于隱私保護(hù)、數(shù)據(jù)采集成本等原因，在圖學(xué)習(xí)的很多下游領(lǐng)域中都廣泛存在數(shù)據(jù)稀缺問(wèn)題，這使得通用圖模型的訓(xùn)練容易缺乏對(duì)某些下游領(lǐng)域的了解而產(chǎn)生次優(yōu)的訓(xùn)練效果。

為了應(yīng)對(duì)上述挑戰(zhàn)，香港大學(xué)的研究人員提出了 OpenGraph，這是一個(gè)擅長(zhǎng)零樣本學(xué)習(xí)的模型，能夠識(shí)別不同下游領(lǐng)域之間可遷移的拓?fù)浣Y(jié)構(gòu)模式。

論文鏈接：https://arxiv.org/pdf/2403.01121.pdf

源碼鏈接：https://github.com/HKUDS/OpenGraph

通過(guò)創(chuàng)建一個(gè)具有拓?fù)涓兄队胺桨傅膱Dtokenizer來(lái)解決挑戰(zhàn) C1，從而生成統(tǒng)一的圖tokens。

為了應(yīng)對(duì)挑戰(zhàn) C2，設(shè)計(jì)了一個(gè)可擴(kuò)展的圖Transformer，它配備了基于錨點(diǎn)采樣的高效自注意力機(jī)制，并包括了token序列采樣以實(shí)現(xiàn)更高效的訓(xùn)練。

為了解決挑戰(zhàn) C3，我們利用大型語(yǔ)言模型進(jìn)行數(shù)據(jù)增強(qiáng)，以豐富我們的預(yù)訓(xùn)練，使用提示樹算法和吉布斯采樣來(lái)模擬現(xiàn)實(shí)世界的圖結(jié)構(gòu)關(guān)系數(shù)據(jù)。我們?cè)诙鄠€(gè)圖數(shù)據(jù)集上進(jìn)行的廣泛測(cè)試顯示了 OpenGraph 在各種設(shè)置中的卓越泛化能力。

模型介紹

模型整體架構(gòu)如下圖所示，可以分為三個(gè)部分，分別為1）統(tǒng)一圖Tokenizer，2）可擴(kuò)展的圖Transformer，3）大語(yǔ)言模型知識(shí)蒸餾。

統(tǒng)一圖Tokenizer

為了應(yīng)對(duì)不同數(shù)據(jù)集在節(jié)點(diǎn)、邊、特征上存在的巨大差異，我們的首要任務(wù)是建立一個(gè)統(tǒng)一的圖tokenizer，能夠有效地將不同圖數(shù)據(jù)影射為統(tǒng)一的token序列。在我們的tokenizer中，每個(gè)token都有一個(gè)語(yǔ)義向量，用于描述對(duì)應(yīng)節(jié)點(diǎn)的信息。

通過(guò)采用統(tǒng)一的節(jié)點(diǎn)表征空間，以及靈活的序列數(shù)據(jù)結(jié)構(gòu)，我們希望為不同的圖數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化、高效的tokenization。

為了達(dá)成這一目的，我們的tokenizer采用了經(jīng)過(guò)平滑的拓?fù)湫畔?，以及一個(gè)從節(jié)點(diǎn)空間到隱表征空間的映射函數(shù)。

高階平滑鄰接矩陣

在圖tokenization過(guò)程中，使用鄰接矩陣的高次冪作為輸入之一，這種方式既能夠獲取圖結(jié)構(gòu)的高階連接關(guān)系，也能夠解決原始鄰接矩陣中連接稀疏性的問(wèn)題。

計(jì)算過(guò)程中進(jìn)行了Laplacian歸一化，并將不同階的鄰接矩陣冪全部考慮進(jìn)來(lái)，具體計(jì)算方法如下。

對(duì)任意圖的拓?fù)涓兄成?/span>

不同數(shù)據(jù)集的鄰接矩陣在維度上存在巨大的差異，這使得我們不能直接將鄰接矩陣作為輸入，再使用一個(gè)固定輸入維度的神經(jīng)網(wǎng)絡(luò)進(jìn)行處理。

我們的解決方案是首先將鄰接矩陣投射為節(jié)點(diǎn)表征序列的形式，后續(xù)即可使用可變長(zhǎng)的序列模型進(jìn)行處理。而為了減少映射過(guò)程的信息損失，我們提出了一種拓?fù)涓兄挠成浞椒ā?/span>

首先，我們拓?fù)涓兄成涞闹涤蚴且粋€(gè)維度較高的隱表征空間。之前的一些工作指出，在采用較大的隱空間維度時(shí)，即使是隨機(jī)的映射也常?？梢援a(chǎn)生令人滿意的表征效果。

為了進(jìn)一步保留圖結(jié)構(gòu)信息，并減少隨機(jī)性影響，我們使用快速特征值分解（SVD）來(lái)構(gòu)造我們的映射函數(shù)。在實(shí)際實(shí)驗(yàn)中，兩輪的快速特征值分解可以有效地保留拓?fù)湫畔?，且產(chǎn)生的的計(jì)算開銷相對(duì)其他模塊可以忽略不計(jì)。

可擴(kuò)展的圖Transformer

經(jīng)過(guò)無(wú)參數(shù)的圖tokenization過(guò)程，對(duì)具有不同特征的圖數(shù)據(jù)，OpenGraph分配了統(tǒng)一的拓?fù)涓兄獔Dtoken表征。接下來(lái)的任務(wù)是采用可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，對(duì)節(jié)點(diǎn)間的復(fù)雜依賴關(guān)系進(jìn)行建模。

OpenGraph采用了transformer架構(gòu)，以利用其在復(fù)雜關(guān)系建模方面的強(qiáng)大能力。為了保證模型效率和性能，我們引入了以下兩種采樣技巧。

Token序列采樣

由于我們的圖token序列數(shù)據(jù)一般有較大的token數(shù)量和隱表征維度，OpenGraph采用的圖transformer對(duì)輸入的token序列進(jìn)行采樣，只學(xué)習(xí)當(dāng)前訓(xùn)練批次內(nèi)的token間兩兩關(guān)系，使得需要建模的關(guān)系對(duì)數(shù)量從節(jié)點(diǎn)數(shù)量平方，降低到訓(xùn)練批次大小的平方，從而大大減小圖transformer在訓(xùn)練階段的時(shí)間和空間開銷。并且，這種采樣方法能夠讓模型在訓(xùn)練時(shí)更加關(guān)注當(dāng)前的訓(xùn)練批次。

盡管對(duì)輸入數(shù)據(jù)進(jìn)行了采樣，由于我們的初始圖token表征包含了節(jié)點(diǎn)間的拓?fù)潢P(guān)系，采樣的token序列仍然能夠一定程度地反映全圖所有節(jié)點(diǎn)的信息。

自注意力中的錨點(diǎn)采樣方法

雖然token序列采樣將復(fù)雜度從節(jié)點(diǎn)數(shù)量平方降低到了批次大小平方，但平方級(jí)別的復(fù)雜度對(duì)批次大小有著較大的限制，使得模型訓(xùn)練無(wú)法采用較大的批次，從而影響整體的訓(xùn)練時(shí)間和訓(xùn)練穩(wěn)定性。

為了緩解這一問(wèn)題，OpenGraph的transformer部分放棄了對(duì)所有token之間兩兩關(guān)系的建模，而是采樣部分錨點(diǎn)，將所有節(jié)點(diǎn)間的關(guān)系學(xué)習(xí)拆分成兩次所有節(jié)點(diǎn)與錨點(diǎn)之間的關(guān)系學(xué)習(xí)。

大語(yǔ)言模型知識(shí)蒸餾

由于數(shù)據(jù)隱私等原因，獲取各個(gè)領(lǐng)域的數(shù)據(jù)來(lái)訓(xùn)練通用圖模型是很有挑戰(zhàn)性的。感受到大型語(yǔ)言模型（LLM）所展示的驚人知識(shí)和理解能力，我們利用其力量來(lái)生成各種圖結(jié)構(gòu)數(shù)據(jù)，用于通用圖模型的訓(xùn)練。

我們?cè)O(shè)計(jì)的數(shù)據(jù)增強(qiáng)機(jī)制，使LLM增強(qiáng)的圖數(shù)據(jù)能夠更好地近似真實(shí)世界圖的特征，從而提高了增強(qiáng)數(shù)據(jù)的相關(guān)性和有用性。

基于LLM的節(jié)點(diǎn)生成

在生成圖時(shí)，我們的初始步驟是創(chuàng)建一個(gè)適合特定應(yīng)用場(chǎng)景的節(jié)點(diǎn)集。每個(gè)節(jié)點(diǎn)都具有一個(gè)基于文本的特征描述，該描述有助于后續(xù)的邊生成過(guò)程。

然而，當(dāng)處理真實(shí)世界場(chǎng)景時(shí)，這項(xiàng)任務(wù)可能特別具有挑戰(zhàn)性，因?yàn)楣?jié)點(diǎn)集的規(guī)模很大。例如，在電子商務(wù)平臺(tái)上，圖數(shù)據(jù)可能包含數(shù)十億種產(chǎn)品。因此，有效地使LLM生成大量節(jié)點(diǎn)成為一個(gè)重大挑戰(zhàn)。

為了解決上述挑戰(zhàn)，我們采用了一種策略，不斷將一般節(jié)點(diǎn)分成更細(xì)粒度的子類別。

例如，當(dāng)生成電商場(chǎng)景下的產(chǎn)品節(jié)點(diǎn)時(shí)，首先使用類似于「列出淘寶等電子商務(wù)平臺(tái)上的所有產(chǎn)品的子類別」的查詢提示LLM。LLM回答了一個(gè)子類別列表，如“衣服”、“家居廚具”和“電子產(chǎn)品”等。

然后，我們要求LLM進(jìn)一步細(xì)化每個(gè)子類別來(lái)繼續(xù)這一迭代分裂過(guò)程。這個(gè)過(guò)程一直重復(fù)，直到我們獲得了類似于真實(shí)世界實(shí)例的節(jié)點(diǎn)，例如一個(gè)帶有「衣服」、「女士衣物」、「毛線衫」、「帶兜毛線衫」和「白色帶兜毛線衫」標(biāo)簽的產(chǎn)品。

提示樹算法

將節(jié)點(diǎn)分割成子類別并生成細(xì)粒度實(shí)體的過(guò)程遵循一種樹狀結(jié)構(gòu)。最初的一般節(jié)點(diǎn)（例如“產(chǎn)品”、“深度學(xué)習(xí)論文”）作為根，細(xì)粒度實(shí)體作為葉節(jié)點(diǎn)。我們采用樹形提示策略來(lái)遍歷和生成這些節(jié)點(diǎn)。

基于LLM和吉布斯采樣的邊生成

為了生成邊，我們使用吉布斯采樣算法與上文生成的節(jié)點(diǎn)集。算法從一個(gè)隨機(jī)樣本開始進(jìn)行迭代，每次在當(dāng)前樣本的基礎(chǔ)上，采樣對(duì)其中某一個(gè)數(shù)據(jù)維度進(jìn)行改變后得到的樣本。

這一算法的關(guān)鍵在于估計(jì)在當(dāng)前樣本的條件下，某個(gè)數(shù)據(jù)維度改變的條件概率。我們提出根據(jù)節(jié)點(diǎn)生成時(shí)得到的文本特征，由LLM進(jìn)行概率估計(jì)。

由于邊的集合空間較大，為了避免讓LLM對(duì)其進(jìn)行探索而產(chǎn)生巨大的開銷，我們首先使用LLM對(duì)節(jié)點(diǎn)集合進(jìn)行表征，再基于表征向量，使用簡(jiǎn)單的相似度算子對(duì)節(jié)點(diǎn)間關(guān)系進(jìn)行計(jì)算。在以上的邊生成框架內(nèi)，我們還采用了以下三種重要的技巧進(jìn)行調(diào)整。

動(dòng)態(tài)概率歸一化

由于LLM表征的相似度可能與[0, 1]范圍差距巨大，為了獲得更適合采樣的概率數(shù)值，我們使用一種動(dòng)態(tài)概率歸一化的方法。

該方法動(dòng)態(tài)維護(hù)采樣過(guò)程中最近的T'個(gè)相似度估計(jì)數(shù)值，計(jì)算他們的均值和標(biāo)準(zhǔn)差，最后將當(dāng)前的相似度估計(jì)映射到該均值上下兩個(gè)標(biāo)準(zhǔn)差的分布范圍中，從而得到近似[0, 1]的概率估計(jì)。

引入節(jié)點(diǎn)局部性

基于LLM的邊生成方法，能夠有效地根據(jù)節(jié)點(diǎn)的語(yǔ)義相似性，確定他們的潛在連接關(guān)系。

然而，它傾向于在所有語(yǔ)義相關(guān)的節(jié)點(diǎn)之間創(chuàng)建過(guò)多的連接，忽視了真實(shí)世界圖中重要的局部性概念。

在現(xiàn)實(shí)世界中，節(jié)點(diǎn)更有可能連接到相關(guān)節(jié)點(diǎn)的子集，因?yàn)樗鼈兺ǔＶ荒軌蚺c一部分節(jié)點(diǎn)有限地互動(dòng)。為了模擬這一重要特性，引入了一種在邊生成過(guò)程中將局部性納入考慮的方法。

每個(gè)節(jié)點(diǎn)都隨機(jī)分配一個(gè)局部性索引，兩個(gè)節(jié)點(diǎn)之間的交互概率受到局部性索引絕對(duì)差值的衰減影響，節(jié)點(diǎn)的局部性索引差別越大，則衰減越嚴(yán)重。

注入圖拓?fù)淠Ｊ?/span>

為了使生成的圖數(shù)據(jù)更加符合拓?fù)浣Y(jié)構(gòu)的模式，我們?cè)诘谝淮螆D生成過(guò)程中再次生成修正的節(jié)點(diǎn)表征。

這一節(jié)點(diǎn)表征使用簡(jiǎn)單的圖卷積網(wǎng)絡(luò)在初始生成圖上得到，他能更好地符合圖結(jié)構(gòu)數(shù)據(jù)的分布特點(diǎn)，避免圖和文本空間之間的分布偏移。最終，我們?cè)谛拚墓?jié)點(diǎn)表征基礎(chǔ)上，再次進(jìn)行圖采樣，得到最終的圖結(jié)構(gòu)數(shù)據(jù)。

實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)中，我們僅使用基于LLM的生成數(shù)據(jù)集進(jìn)行OpenGraph模型訓(xùn)練，而測(cè)試數(shù)據(jù)集都是各個(gè)應(yīng)用場(chǎng)景下的真實(shí)數(shù)據(jù)集，并包括了節(jié)點(diǎn)分類和鏈路預(yù)測(cè)兩類任務(wù)。實(shí)驗(yàn)的具體設(shè)置如下：

0-shot設(shè)置

為了驗(yàn)證OpenGraph的零樣本預(yù)測(cè)能力，OpenGraph在生成的訓(xùn)練數(shù)據(jù)集上測(cè)試，再使用完全不同的真實(shí)測(cè)試數(shù)據(jù)集進(jìn)行效果測(cè)試。訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集在節(jié)點(diǎn)、邊、特征、標(biāo)注上均沒(méi)有任何重合。

Few-shot設(shè)置

由于大多數(shù)現(xiàn)有方法無(wú)法進(jìn)行有效的零樣本預(yù)測(cè)，我們采用少樣本預(yù)測(cè)的方式對(duì)他們進(jìn)行測(cè)試。基線方法可以在預(yù)訓(xùn)練數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，之后使用k-shot樣本進(jìn)行訓(xùn)練、微調(diào)或提示微調(diào)。

整體效果對(duì)比

在2個(gè)任務(wù)一共8個(gè)測(cè)試數(shù)據(jù)集上的測(cè)試效果如下所示。

從中可以觀察到：

1）在跨數(shù)據(jù)集的情況下，OpenGraph的零樣本預(yù)測(cè)效果相對(duì)現(xiàn)有方法具有較大的優(yōu)勢(shì)。

2）在跨數(shù)據(jù)集遷移的情況下，現(xiàn)有的預(yù)訓(xùn)練方法有時(shí)甚至還不如其基礎(chǔ)模型僅在少樣本上從零開始訓(xùn)練，這體現(xiàn)了圖模型獲得跨數(shù)據(jù)集泛化能力的困難。

圖Tokenizer研究

接下來(lái)我們探究圖tokenizer設(shè)計(jì)對(duì)效果的影響。首先我們調(diào)整了鄰接矩陣平滑結(jié)束，測(cè)試其對(duì)效果的影響。0階時(shí)效果出現(xiàn)嚴(yán)重衰減，指示了采用高階平滑的重要性。

其次，我們將拓?fù)涓兄成浜瘮?shù)替換成其他簡(jiǎn)單方法，包括跨數(shù)據(jù)集的可學(xué)習(xí)獨(dú)熱id表征、隨機(jī)映射、基于節(jié)點(diǎn)度的可學(xué)習(xí)表征。

結(jié)果顯示三種替代方案均效果較差，其中跨數(shù)據(jù)集學(xué)習(xí)id表征效果最差，現(xiàn)有工作中常用的度表征效果也衰減較大，不可學(xué)習(xí)的隨機(jī)映射在所有替代方法中表現(xiàn)最好，但仍與我們的拓?fù)涓兄成溆泻艽蟮牟罹唷?/span>

預(yù)訓(xùn)練數(shù)據(jù)集研究

為了驗(yàn)證基于LLM的知識(shí)蒸餾方法的有效性，我們使用不同的預(yù)訓(xùn)練數(shù)據(jù)集對(duì)OpenGraph進(jìn)行訓(xùn)練，并測(cè)試其在不同測(cè)試集上的效果。

本實(shí)驗(yàn)比較的預(yù)訓(xùn)練數(shù)據(jù)集包括單獨(dú)去除我們生成方法中某個(gè)技巧的版本、與測(cè)試數(shù)據(jù)集不相關(guān)的兩個(gè)真實(shí)數(shù)據(jù)集Yelp2018和Gowalla、以及與測(cè)試數(shù)據(jù)集相關(guān)的ML-10M數(shù)據(jù)集，從結(jié)果中可以看出：

1）總體來(lái)說(shuō)，我們的生成數(shù)據(jù)集能夠在所有測(cè)試數(shù)據(jù)上產(chǎn)生較好的效果。

2）所測(cè)試的三種生成技巧均起到了較為顯著的提升效果。

3）使用真實(shí)數(shù)據(jù)集（Yelp、Gowalla）進(jìn)行訓(xùn)練可能反而會(huì)帶來(lái)負(fù)面效果，這可能源于不同真實(shí)數(shù)據(jù)集之間的分布差異。

4）ML-10M在ML-1M和ML-10M上均取得了最佳效果，這說(shuō)明使用相似的訓(xùn)練數(shù)據(jù)集能夠產(chǎn)生較好的效果。

Transformer中的采樣技巧研究

這項(xiàng)實(shí)驗(yàn)對(duì)我們圖transformer模塊中的token序列采樣（Seq）和錨點(diǎn)采樣（Anc）進(jìn)行了消融測(cè)試。

結(jié)果顯示，兩種采樣方法能夠在訓(xùn)練和測(cè)試過(guò)程優(yōu)化模型的空間和時(shí)間開銷。在效果方面，token序列采樣對(duì)模型效果有正向作用，而ddi數(shù)據(jù)集上的結(jié)果顯示，錨點(diǎn)菜樣對(duì)模型效果有負(fù)面效果。

結(jié)論

本研究的主要焦點(diǎn)是開發(fā)一個(gè)高度適應(yīng)性的框架，能夠精確地捕捉和理解各種圖結(jié)構(gòu)中復(fù)雜的拓?fù)淠Ｊ健?/span>

通過(guò)發(fā)揮所提出模型的潛力，我們的目的是顯著提高模型的泛化能力，使其在包括各種下游應(yīng)用在內(nèi)的零樣本圖學(xué)習(xí)任務(wù)中表現(xiàn)出色。

為了進(jìn)一步提高OpenGraph的效率和健壯性，我們?cè)诳蓴U(kuò)展的圖transformer架構(gòu)和基于LLM的數(shù)據(jù)增強(qiáng)機(jī)制的基礎(chǔ)上構(gòu)建了我們的模型。

通過(guò)在多個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)，我們驗(yàn)證了模型的杰出泛化能力。本研究在圖基座模型方向作出了初步探索的嘗試。

在未來(lái)的工作中，我們計(jì)劃賦予我們的框架自動(dòng)發(fā)現(xiàn)噪聲連接和具有反事實(shí)學(xué)習(xí)影響力的結(jié)構(gòu)的能力，同時(shí)學(xué)習(xí)各種圖的通用和可轉(zhuǎn)移的結(jié)構(gòu)模式。