圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks）已經(jīng)成為分析和學(xué)習(xí)圖結(jié)構(gòu)數(shù)據(jù)的強大框架，推動了社交網(wǎng)絡(luò)分析、推薦系統(tǒng)和生物網(wǎng)絡(luò)分析等多個領(lǐng)域的進步。

圖神經(jīng)網(wǎng)絡(luò)的主要優(yōu)勢在于它們能夠捕獲圖數(shù)據(jù)中固有的結(jié)構(gòu)信息和依賴關(guān)系。利用消息傳遞和聚合機制，圖神經(jīng)網(wǎng)絡(luò)可以有效地在圖中傳播和組合信息，從而模擬復(fù)雜的關(guān)系并進行準確的預(yù)測。

近年來，各種圖神經(jīng)網(wǎng)絡(luò)架構(gòu)在圖節(jié)點之間的信息交換和聚合方面引入了不同的創(chuàng)新。例如，圖卷積網(wǎng)絡(luò)（Graph Convolutional Networks）將卷積操作遷移到圖結(jié)構(gòu)數(shù)據(jù)，實現(xiàn)有效的圖結(jié)構(gòu)特征表示。

圖注意力網(wǎng)絡(luò)（Graph Attention Networks）利用注意力機制為相鄰節(jié)點分配不同的權(quán)重，實現(xiàn)更細粒度的信息聚合。

然而，許多圖神經(jīng)網(wǎng)絡(luò)方法的一個顯著局限性是它們過于依賴監(jiān)督學(xué)習(xí)，這可能導(dǎo)致在面對稀疏和噪聲數(shù)據(jù)時魯棒性和泛化能力不足。為了增強圖神經(jīng)網(wǎng)絡(luò)的泛化能力，自監(jiān)督學(xué)習(xí)（Self-Supervised Learning）已經(jīng)成為圖表示學(xué)習(xí)中的一種有前景的方法。

這些方法的目標是生成可泛化到不同下游任務(wù)的圖表示，但它們?nèi)匀恍枰褂孟掠螆D學(xué)習(xí)場景的標簽進行微調(diào)。然而，這種對下游任務(wù)的標簽數(shù)據(jù)的依賴可能會限制它們在實際情況中的泛化能力，特別是在難以獲取高質(zhì)量標簽的情況下。

因此，本研究的目標是通過解決具有挑戰(zhàn)性的實際零樣本學(xué)習(xí)場景來提高圖模型的泛化能力。受到大語言模型（Large Language Models）在自然語言處理任務(wù)中巨大成功的啟發(fā)，本文將介紹香港大學(xué)數(shù)據(jù)智能實驗室和百度等機構(gòu)提出的圖結(jié)構(gòu)大語言模型（GraphGPT），其能夠在多種下游數(shù)據(jù)集和任務(wù)中實現(xiàn)高度的泛化。

論文鏈接：https://arxiv.org/abs/2310.13023

代碼鏈接：https://github.com/HKUDS/GraphGPT

項目網(wǎng)站：https://graphgpt.github.io/

期待GraphGPT能夠吸引更多的開源社區(qū)開發(fā)者參與討論和實踐，共同探索圖結(jié)構(gòu)數(shù)據(jù)挖掘領(lǐng)域新篇章。

概述

總得來說，將大語言模型與圖學(xué)習(xí)結(jié)合是一項重大的挑戰(zhàn)。

首先，在圖的結(jié)構(gòu)信息和語言空間之間實現(xiàn)適當(dāng)?shù)膶R需要深入的研究。

同時，如何引導(dǎo)大語言模型有效地理解圖的結(jié)構(gòu)信息，以及如何賦予大語言模型對于圖學(xué)習(xí)下游任務(wù)逐步推理的能力，都是當(dāng)前面臨的關(guān)鍵問題。

為了深入了解直接使用純文本提示為大語言模型建模圖結(jié)構(gòu)的局限性，本文進行了一系列的實驗和對比，如圖1所示。

這些實驗揭示了僅依賴文本提示進行圖結(jié)構(gòu)建模時可能出現(xiàn)的潛在問題。

相比之下，新框架GraphGPT能夠有效地解決這些問題，通過保留和利用圖的結(jié)構(gòu)信息，實現(xiàn)了對文章類別的準確識別。

此外，使用基于文本的圖結(jié)構(gòu)提示會導(dǎo)致輸入token數(shù)大小增加，這在實際應(yīng)用中帶來了挑戰(zhàn)。

長token序列會導(dǎo)致更高的計算和內(nèi)存成本，使其在實際應(yīng)用中的可行性降低。

同時，現(xiàn)有的大語言模型有輸入長度限制，這進一步限制了用長文本提示進行大規(guī)模圖結(jié)構(gòu)建模的適用性。

為了應(yīng)對這些挑戰(zhàn)，本文提出了一個名為GraphGPT的全新框架，該框架旨在使用精心設(shè)計的圖指令微調(diào)范式將大語言模型與圖結(jié)構(gòu)對齊。

GraphGPT引入了文本-圖結(jié)構(gòu)對齊范式作為初始步驟，通過對比方式結(jié)合文本信息，實現(xiàn)了在圖編碼器中有效地對齊文本語義。

進一步提出雙階段圖指令微調(diào)范式，在第一階段，利用無標簽的圖結(jié)構(gòu)數(shù)據(jù)，通過自監(jiān)督的圖匹配任務(wù)，指導(dǎo)大語言模型獲得與圖數(shù)據(jù)相關(guān)的結(jié)構(gòu)知識，從而增強了其對圖結(jié)構(gòu)的理解。

在第二階段，為了進一步定制大語言模型在多種下游圖學(xué)習(xí)任務(wù)中的推理行為，使用特定任務(wù)的圖數(shù)據(jù)指令對大語言模型進行微調(diào)，以提高模型的適應(yīng)性。

最后，通過思維鏈（Chain-of-Thought）將閉源大語言模型（如，ChatGPT）蒸餾整合到GraphGPT中，增強了其逐步推理能力，極大地改善了分布偏移帶來的性能下降。

本研究的主要貢獻如下：

• 將圖領(lǐng)域特定的結(jié)構(gòu)知識與大語言模型的推理能力對齊，以提高圖學(xué)習(xí)的泛化。
• 提出的方法旨在通過圖指令微調(diào)范式將大語言模型與圖結(jié)構(gòu)數(shù)據(jù)對齊。此范式結(jié)合了自監(jiān)督指令微調(diào)，增強了大語言模型對圖結(jié)構(gòu)知識的理解和推理能力。此外，引入了具體任務(wù)的指令微調(diào)，以提高模型在不同圖學(xué)習(xí)任務(wù)中的適應(yīng)性。
• 實驗評估了GraphGPT在有監(jiān)督和零樣本圖學(xué)習(xí)任務(wù)上的表現(xiàn)。通過與最先進的基線進行比較，GraphGPT展現(xiàn)出在各種設(shè)置中優(yōu)越的泛化能力。

方法

這一部分，將闡述GraphGPT圖指令微調(diào)范式的技術(shù)細節(jié)，其整體框架如圖2所示：

用「文本-圖」對齊編碼結(jié)構(gòu)信息

在GraphGPT中圖結(jié)構(gòu)編碼器的選擇可以非常靈活，使其能夠利用從多種圖預(yù)訓(xùn)練范式中獲得的各種基礎(chǔ)GNN架構(gòu)。

為了更有效地將大語言模型與圖結(jié)構(gòu)對齊，本節(jié)探索了能與大語言模型良好協(xié)作的圖結(jié)構(gòu)編碼方式。

受之前的研究啟發(fā)，本文以對比的方式將文本信息融入圖結(jié)構(gòu)的編碼過程中。本文直接將帶有預(yù)訓(xùn)練參數(shù)的圖編碼器集成到GraphGPT模型框架中，從而無縫地整合圖編碼器的功能。

具體來說，讓一個圖與原始文本內(nèi)容對應(yīng)，其中代表節(jié)點數(shù)，表示第i個結(jié)點的文本長度。通過任意圖編碼器（例如graph transformer）和文本編碼器（例如普通transformer）得到編碼后的圖表示和文本表示。

接著，通過對比學(xué)習(xí)進行不同維度的「文本-圖」對齊：

其中為對比標簽，和為不同對比策略的轉(zhuǎn)換函數(shù)。

兩階段圖指令微調(diào)

1. 自監(jiān)督指令微調(diào)

在圖指令微調(diào)范式的第一階段，引入了自監(jiān)督指令微調(diào)機制，其將圖領(lǐng)域特定的結(jié)構(gòu)知識注入到語言模型中，提高其推理能力，并使其能夠有效地理解圖結(jié)構(gòu)中的上下文信息。

具體來說，本文設(shè)計了一個結(jié)構(gòu)感知的圖匹配任務(wù)，引導(dǎo)語言模型使用自然語言標記來區(qū)分不同的圖結(jié)點。這個指令任務(wù)在準確地將圖結(jié)點與其相應(yīng)的文本描述關(guān)聯(lián)起來方面起到了關(guān)鍵作用，從而加深了模型對圖結(jié)構(gòu)數(shù)據(jù)的理解。

指令設(shè)計

圖匹配任務(wù)的指令包括三個部分：i) 圖信息，ii) 人類問題，和 iii) GraphGPT的回應(yīng)。在這個任務(wù)中，將圖中的每個節(jié)點視為中心節(jié)點，并執(zhí)行h跳的隨機鄰居采樣，從而得到一個子圖結(jié)構(gòu)。大語言模型的自然語言輸入是人類的問題。

在圖匹配任務(wù)的上下文中，指令包括指示符token <graph> 和一個被打亂的節(jié)點文本信息列表。例如，在一個論文引用圖中，節(jié)點文本信息對應(yīng)于論文標題。

大語言模型在圖匹配任務(wù)中的目標是將每個圖結(jié)點token與其相應(yīng)的節(jié)點文本信息對齊。這需要根據(jù)圖結(jié)點token的順序重新排序節(jié)點文本信息列表，有效地將每個圖結(jié)點token與其相關(guān)的文本描述關(guān)聯(lián)起來。

微調(diào)策略

為了高效地優(yōu)化微調(diào)過程，本文提出了一種輕量級對齊投影策略。在訓(xùn)練過程中，固定大語言模型和圖編碼器的參數(shù)，僅專注于優(yōu)化投影器的參數(shù)。

訓(xùn)練后，假設(shè)投影器已經(jīng)成功地學(xué)會了將編碼的圖表示映射到圖結(jié)點token，而大語言模型則擅長將這些圖結(jié)點token與多種節(jié)點文本信息對齊。為了將圖結(jié)點token與自然語言token對齊，使用一個投影器，它可以簡單到用一個單一的線性層實現(xiàn)。

這個投影器建立了圖結(jié)點token和自然語言token之間的對應(yīng)關(guān)系。通過在原始自然語言token序列中替換指示符token<graph>為對齊的圖結(jié)點token序列{<graph_begin>, <graph_token>1, ..., <graph_token>n, <graph_end>}，從而得到了一個大語言模型的輸入token序列。

考慮到圖匹配過程是無監(jiān)督的，這將有機會利用來自不同領(lǐng)域的大量未標記的圖數(shù)據(jù)，以增強學(xué)習(xí)到的投影器的泛化能力。

2. 特定任務(wù)指令微調(diào)

在第二階段，本文提出了特定任務(wù)指令微調(diào)，旨在定制模型的推理行為，以滿足不同圖學(xué)習(xí)任務(wù)的特定約束和要求，如節(jié)點分類或鏈接預(yù)測。

通過使用任務(wù)特定的圖指令對大語言模型進行微調(diào)，引導(dǎo)模型生成更適合當(dāng)前圖學(xué)習(xí)任務(wù)的響應(yīng)，進一步提高了模型在處理各種圖學(xué)習(xí)任務(wù)時的適應(yīng)性和性能。

指令設(shè)計

為了為每個節(jié)點生成圖信息，采用第一階段相同的鄰居采樣方法。對于節(jié)點分類任務(wù)，人類問題指令包含指示符token<graph>和關(guān)于中心節(jié)點的特定文本信息。

這個指令提示語言模型基于圖結(jié)構(gòu)數(shù)據(jù)和伴隨的文本信息來預(yù)測中心節(jié)點的類別。在圖3中可以看到不同任務(wù)的指令數(shù)據(jù)的模版。

微調(diào)策略

訓(xùn)練的第二階段使用第一階段訓(xùn)練得到的結(jié)構(gòu)感知投影器的參數(shù)作為初始狀態(tài)，在訓(xùn)練過程中，保持大語言模型和圖編碼器的參數(shù)不變，僅專注于優(yōu)化前一階段的投影器的參數(shù)，確保大語言模型進一步與下游任務(wù)對齊，增強其理解和解釋圖結(jié)構(gòu)的能力。

完成上述的兩個訓(xùn)練階段后，GraphGPT已經(jīng)獲得了理解給定圖結(jié)構(gòu)并在提供的圖上執(zhí)行各種下游任務(wù)的能力。

3. 思維鏈蒸餾

面對多樣的圖數(shù)據(jù)，語言模型可能會遇到新的或不熟悉的模式和結(jié)構(gòu)。這種分布的變化可能在生成準確和連貫的回應(yīng)時帶來挑戰(zhàn)，特別是當(dāng)節(jié)點類的數(shù)量在不同類型的圖數(shù)據(jù)中變化時。

為了應(yīng)對這一挑戰(zhàn)并在分布變化的情況下提高準確性，為GraphGPT配備逐步推理能力是至關(guān)重要的。受思維鏈技術(shù)（Chain-of-Thought）技術(shù)的啟發(fā)，提出通過整合思維鏈技術(shù)，提高GraphGPT生成文本的連貫性和一致性，使模型能夠遵循邏輯上的思維發(fā)展，進一步增強其理解和推理給定圖數(shù)據(jù)的能力。

然而，由于思維鏈技術(shù)的增益與模型參數(shù)規(guī)模強相關(guān)，如何在較小的模型參數(shù)下最大程度獲得思維鏈技術(shù)的增益成為關(guān)鍵。

為了克服這一點，從之前的研究中汲取靈感，從一個封閉源、強大的語言模型（如GPT-3.5，擁有超過2000億的參數(shù)）中蒸餾得到思維鏈推理能力，使GraphGPT能夠生成高質(zhì)量準確的回答，并增強模型的逐步推理能力，同時避免增加參數(shù)。

對于引文圖中的節(jié)點分類任務(wù)，將節(jié)點表示的論文的摘要、標題以及分類任務(wù)的描述作為輸入的一部分，使用GPT-3.5語言模型進行逐步推理，通過順序的思考過程得出最終答案。

在生成的輸出中，大語言模型不僅為節(jié)點類提供預(yù)測，而且為每個預(yù)測提供詳細的解釋，這確保了模型的推理和決策過程是透明和可理解的。

為了進一步提高性能，將生成的思維鏈指令數(shù)據(jù)與之前為任務(wù)特定指令微調(diào)階段設(shè)計的指令集成，進行圖指令微調(diào)。

實驗

1. 總體性能

Obs.1 總體性能優(yōu)越性：GraphGPT在有監(jiān)督和零樣本場景中都穩(wěn)定地超越了各種最先進的基線模型。

值得注意的是，即使是最近開發(fā)的強大的基于GNN的模型，如NodeFormer、DIFFormer和GKD，在監(jiān)督設(shè)置中都展現(xiàn)出了良好的結(jié)構(gòu)建模能力，但當(dāng)它們被轉(zhuǎn)移到?jīng)]有進一步訓(xùn)練的新數(shù)據(jù)集時，性能顯著下降。

相比之下，GraphGPT不僅在監(jiān)督任務(wù)中超越了所有最先進的方法，而且在零樣本圖學(xué)習(xí)場景中實現(xiàn)了顯著的2-10倍的準確率提升。

此外，基于大語言模型的解決方案，如Baichuan-7B和Vicuna-7B在不同的數(shù)據(jù)集中都保持穩(wěn)定的性能。然而，它們僅限于基于文本信息進行預(yù)測。

相比之下，GraphGPT有效地保留了圖結(jié)構(gòu)信息，為圖學(xué)習(xí)任務(wù)提供了更全面的解決方案。

Obs.2 結(jié)構(gòu)感知的圖匹配任務(wù)：第一階段指令微調(diào)的自監(jiān)督圖匹配任務(wù)，對于增強GraphGPT的零樣本遷移能力起到了關(guān)鍵作用。第一階段重點是將編碼豐富結(jié)構(gòu)信息的圖結(jié)點token與語言 token對齊。

這種對齊使模型能夠更深入地理解圖數(shù)據(jù)的固有結(jié)構(gòu)特性。如果沒有第一階段，模型只進行特定任務(wù)的指令微調(diào)的第二階段，模型往往更容易在特定數(shù)據(jù)集上過擬合。

在這種情況下，模型的性能可能嚴重依賴于數(shù)據(jù)集特定的模式和特性，而不是對底層圖結(jié)構(gòu)的真正理解。這可能限制了模型對新的、未見過的數(shù)據(jù)集的泛化能力。

Obs.3 思維鏈蒸餾：「-std」和「-cot」變體表明，使用思維鏈蒸餾對更復(fù)雜的圖學(xué)習(xí)任務(wù)有很大的幫助。

使用標準指令數(shù)據(jù)集微調(diào)的模型在轉(zhuǎn)移到較簡單的任務(wù)時，如只有3個類的PubMed數(shù)據(jù)集，已經(jīng)可以取得顯著的結(jié)果，例如Arxiv-PubMed的準確率為0.7011。然而，當(dāng)應(yīng)用于如Cora數(shù)據(jù)集這樣有70個類的復(fù)雜任務(wù)時，它們的性能往往只是中等的。

通過思維鏈蒸餾利用閉源模型（GPT-3.5）的強大推理能力，模型可以整合這些知識和推理能力，并顯著提高其在復(fù)雜圖任務(wù)上的性能。

2. 泛化性能力探索

更多的數(shù)據(jù)激發(fā)更強的遷移能力：本節(jié)首先研究了數(shù)據(jù)量對GraphGPT遷移能力的影響，如表1中的「(Arxiv + PubMed)-Cora」列所示。

在這個實驗中，使用Arxiv和PubMed數(shù)據(jù)集的組合來訓(xùn)練模型，并在Cora數(shù)據(jù)集上進行零樣本測試。

結(jié)果顯示，通過結(jié)合相對較小的PubMed數(shù)據(jù)集（包含20,000+項），GraphGPT在Cora上的轉(zhuǎn)移性能得到了顯著的提高。相比之下，單獨在Arxiv和PubMed上訓(xùn)練的基于GNN的模型的轉(zhuǎn)移性能卻有所下降。

更多的數(shù)據(jù)但是不遺忘：本節(jié)進一步驗證了結(jié)合Arxiv和PubMed指令數(shù)據(jù)在原始Arxiv數(shù)據(jù)上的性能，如表1中的「(Arxiv + PubMed)-Arxiv」列所示。

結(jié)果表明，大多數(shù)傳統(tǒng)的基于GNN的方法在Arxiv上經(jīng)過迭代訓(xùn)練后性能顯著下降。相比之下，GraphGPT反而表現(xiàn)得更好。

本文將這一現(xiàn)象歸因于基于GNN的模型中發(fā)生的災(zāi)難性遺忘，即在較小的PubMed數(shù)據(jù)集上訓(xùn)練的模型的結(jié)構(gòu)建模能力受到損害。

然而，通過兩階段的圖結(jié)構(gòu)指令微調(diào)，模型有效地緩解了這一問題，使得GraphGPT能夠通過保留泛化的圖結(jié)構(gòu)模式來維持甚至增強其性能。

可泛化的多任務(wù)圖學(xué)習(xí)器：近期關(guān)于指令微調(diào)的研究表明，混合不同的指令微調(diào)數(shù)據(jù)可以進一步提高大語言模型的性能。

在本研究中，確保指令條目的數(shù)量一致的情況下，混合了不同類型的指令數(shù)據(jù)，包括標準指令（-std）、思維鏈指令（-cot）、標準指令（50%）和思維鏈指令（50%）的混合（-mix），以及鏈路預(yù)測指令（Link）。

結(jié)果分別在表2和表3中呈現(xiàn)。可以觀察到，有效的數(shù)據(jù)混合方案可以顯著提高GraphGPT在各種設(shè)置下的性能。

添加鏈路預(yù)測指令后顯著提高了模型在節(jié)點分類中的性能，在加入節(jié)點分類后，鏈路預(yù)測的性能也超過了現(xiàn)有模型。

在混合了不同任務(wù)的指令后，模型展現(xiàn)出了有效處理各種圖學(xué)習(xí)任務(wù)并將其知識轉(zhuǎn)移到其他未見數(shù)據(jù)集的能力。

3. 消融實驗

圖指令微調(diào)的效果：在本小節(jié)的研究中，使用變體「w/o GS」探討了將圖結(jié)構(gòu)信息納入大語言模型的好處。

在這個變體中，直接采用大語言模型基座（具體為Vicuna-7B-v1.5）在三個數(shù)據(jù)集上進行節(jié)點分類，而不納入圖結(jié)構(gòu)信息。

研究結(jié)果顯示，GraphGPT明顯優(yōu)于缺乏結(jié)構(gòu)信息的基座模型。這表明提出的圖指令微調(diào)范式使大語言模型更有效地理解圖結(jié)構(gòu)信息。

重要的是，這種性能的提高是在不改變大語言模型原始參數(shù)的情況下實現(xiàn)的。

相反，它完全是通過輕量級對齊投影器來實現(xiàn)，該投影器通過一層線性投影操作對齊圖結(jié)點token和自然語言token。

大語言模型增強語義推理的效果：本小節(jié)通過僅使用默認的圖編碼器進行有監(jiān)督和零樣本預(yù)測，來評估大語言模型的推理能力對GraphGPT的影響，這個變體被稱為「w/o LR」。

研究結(jié)果表明，整合了大語言模型的GraphGPT顯著提高了圖編碼器的性能，特別是在零樣本條件下。這表明大語言模型注入的豐富語義信息為性能提供了顯著的增益。

4. 模型效率研究

訓(xùn)練效率：提出的指令微調(diào)框架遵循兩階段的過程，其中大語言模型和圖編碼器的參數(shù)都被凍結(jié)，只有「圖-文」對齊投影器被微調(diào)。在一個4卡40G Nvidia A100環(huán)境中，對凍結(jié)和微調(diào)大語言模型參數(shù)（分別用「-freeze」和「-tune」表示）進行了比較。

該研究分析了在訓(xùn)練時間、微調(diào)參數(shù)的數(shù)量和GPU占用（每個GPU的MiB）方面的時間和空間效率。在相同的實驗條件下，當(dāng)調(diào)整大語言模型參數(shù)時，即使批處理大小為1，也會遇到GPU內(nèi)存溢出（OOM）錯誤。

然而，通過使用提出的微調(diào)策略，即使批處理大小為2，訓(xùn)練過程仍然穩(wěn)定。

此外，與全量微調(diào)大語言模型相比，提出的微調(diào)策略的參數(shù)數(shù)量減少了50倍以上。

推理效率：本小節(jié)進一步通過與baichuan-7B、vicuna-7B-v1.1和vicuna-7B-v1.5進行比較，評估了GraphGPT的推理速度和準確性。

實驗使用單張40G Nvidia A100，測量了在Arxiv和Cora思維鏈指令數(shù)據(jù)集上的推理時間（每個響應(yīng)所用的秒數(shù)），結(jié)果如圖4所示。GraphGPT展示了卓越的效率和準確性。

值得注意的是較低的推理時間并不一定意味著更好的性能：baichuan-7B提供快速但往往是不正確或不相關(guān)的答案，而vicuna-7B-v1.1和vicuna-7B-v1.5需要更長、更復(fù)雜的推理步驟來得到更好的答案。

相比之下，GraphGPT通過簡短的推理過程實現(xiàn)了準確的預(yù)測，提高了推理效率。

5. 模型案例研究

本節(jié)對GraphGPT在下游圖學(xué)習(xí)任務(wù)中的表現(xiàn)進行了詳細分析，并使用不同類型的指令將其與傳統(tǒng)大語言模型進行了比較。

實驗使用Arxiv數(shù)據(jù)提示ChatGPT和GraphGPT，不同類型的指令包括僅使用節(jié)點內(nèi)容（標題和摘要）、帶有基于文本的圖結(jié)構(gòu)的節(jié)點內(nèi)容以及本文設(shè)計的圖指令。

結(jié)果如圖5中所示，清楚地表明，盡管ChatGPT的參數(shù)數(shù)量巨大（超過200B），但僅基于節(jié)點文本信息或帶有基于文本的圖結(jié)構(gòu)的節(jié)點內(nèi)容進行準確預(yù)測仍然困難。

尤其是處理具有高度交叉學(xué)科特性的論文時，如例子中所展示的機器學(xué)習(xí)和硬件架構(gòu)的交叉。相比之下，GraphGPT始終提供準確的預(yù)測并提供合理的解釋。

這是因為GraphGPT接受一個帶有103個節(jié)點的子圖結(jié)構(gòu)，允許它從鄰近節(jié)點的引文關(guān)系中提取豐富的結(jié)構(gòu)信息，從而實現(xiàn)準確的預(yù)測。

此外，使用圖結(jié)點token來表示圖結(jié)構(gòu)作為輸入到大語言模型的方法比自然語言解決方案更為高效。

在一個103節(jié)點的子圖的情況下，GraphGPT只需要將750個token輸入到LLM中，而基于文本的方法需要4649個token。這種顯著的token消耗減少轉(zhuǎn)化為訓(xùn)練和推理資源需求的大幅減少。

總結(jié)與未來工作

本文提出了一個有效且可擴展的圖結(jié)構(gòu)大語言模型，旨在提高圖結(jié)構(gòu)模型的泛化能力。所提出的框架，GraphGPT，通過雙階段圖指令微調(diào)范式將圖領(lǐng)域特定的結(jié)構(gòu)知識注入到大語言模型中。

通過利用一個簡單而有效的圖文對齊投影器，使語言模型能夠理解和解釋圖的結(jié)構(gòu)。在不同設(shè)置下的廣泛評估證明了模型在監(jiān)督和零樣本圖學(xué)習(xí)場景中的有效性。

此外，該模型展現(xiàn)出強大的泛化能力，使其能夠處理多種下游數(shù)據(jù)集和任務(wù)，而不會遭受災(zāi)難性的遺忘。

未來的研究方向是探索修剪技術(shù)來壓縮LLM的冗余或不太重要的參數(shù)，從而減少整體模型大小，同時保持其性能。

One More Thing

關(guān)于圖基礎(chǔ)模型的思考：最近基礎(chǔ)模型（Foundation Models）在自然語言處理（NLP）和計算機視覺領(lǐng)域（CV）都有蓬勃的發(fā)展，涌現(xiàn)了許多不可思議的應(yīng)用（如ChatGPT，Segment Anything）。

然而，在圖學(xué)習(xí)領(lǐng)域，如何構(gòu)造基礎(chǔ)模型，圖學(xué)習(xí)領(lǐng)域的基礎(chǔ)模型是否存在一直懸而未定。這是由于不同圖結(jié)構(gòu)的「語義」存在較大區(qū)別，無法用一個統(tǒng)一的模型做到跨數(shù)據(jù)集，多任務(wù)的圖結(jié)構(gòu)建模。

我們的工作利用大語言模型強大的語義建模能力，同時用圖指令微調(diào)的方法使大語言模型擁有結(jié)構(gòu)理解能力，可以作為圖基礎(chǔ)模型的一個發(fā)展方向。

關(guān)于Data-Centric 圖學(xué)習(xí)的思考：基礎(chǔ)模型的發(fā)展展現(xiàn)了數(shù)據(jù)為中心的人工智能（Data-Centric AI）的有效性和優(yōu)越性。然而，由于不同的圖結(jié)構(gòu)之間的「結(jié)構(gòu)關(guān)系」無法像NLP中轉(zhuǎn)換為統(tǒng)一的token表示或者CV中的像素表示，如何定義和開發(fā)Data-Centric 圖學(xué)習(xí)一直尚無定論。

我們在實驗中發(fā)現(xiàn)，GraphGPT可以在混合多種數(shù)據(jù)的情況下彰顯出更強的準確度，泛化性和多任務(wù)屬性，緩解了傳統(tǒng)圖神經(jīng)網(wǎng)絡(luò)的災(zāi)難性遺忘問題。

因此，我們相信所提出的圖指令微調(diào)框架可以很好的作為Data-Centric 圖學(xué)習(xí)的一個研究基礎(chǔ)。