本文的主要作者來自香港大學的數(shù)據(jù)智能實驗室 (Data Intelligence Lab)。作者中，第一作者任旭濱和第二作者湯嘉斌都是香港大學數(shù)據(jù)科學院的一年級博士生，指導老師為 Data Intelligence Lab@HKU 的黃超教授。香港大學數(shù)據(jù)智能實驗室致力于人工智能和數(shù)據(jù)挖掘的相關研究，涵蓋大語言模型、圖神經(jīng)網(wǎng)絡、信息檢索、推薦系統(tǒng)、時空數(shù)據(jù)挖掘等領域。此前的工作包括了通用圖大語言模型 GraphGPT，HiGPT；智慧城市大語言模型 UrbanGPT；可解釋大語言模型推薦算法 XRec 等。

在信息爆炸的當今時代，我們?nèi)绾螐暮迫鐭熀５臄?shù)據(jù)中探尋深層次的聯(lián)系呢？

對此，香港大學、圣母大學等機構的專家學者在圖學習與大型語言模型領域的最新綜述中，為我們揭示了答案。

圖，作為描繪現(xiàn)實世界中各種關系的基礎數(shù)據(jù)結構，其重要性不言而喻。以往的研究已證明，圖神經(jīng)網(wǎng)絡在圖相關的任務中取得了令人矚目的成果。然而，隨著圖數(shù)據(jù)應用場景復雜度的不斷提升，圖機器學習的瓶頸問題也越發(fā)凸顯。近期，大型語言模型在自然語言處理領域大放異彩，其出色的語言理解和總結能力備受矚目。正因如此，將大語言模型與圖學習技術相融合，以提升圖學習任務的效能，已成為業(yè)界新的研究熱點。

這篇綜述針對當前圖學習領域的關鍵技術挑戰(zhàn)，如模型泛化能力、魯棒性，以及復雜圖數(shù)據(jù)的理解能力等，進行了深入分析，并展望了未來大模型技術在突破這些 "未知邊界" 方面的潛力。

• 論文地址：https://arxiv.org/abs/2405.08011
• 項目地址：https://github.com/HKUDS/Awesome-LLM4Graph-Papers
• 港大數(shù)據(jù)智能實驗室：https://sites.google.com/view/chaoh/home

該綜述深入回顧了最新應用于圖學習中的 LLMs，并提出了一種全新的分類方法，依據(jù)框架設計對現(xiàn)有技術進行了系統(tǒng)分類。其詳盡剖析了四種不同的算法設計思路：一是以圖神經(jīng)網(wǎng)絡為前綴，二是以大語言模型為前綴，三是大語言模型與圖集成，四是僅使用大語言模型。針對每一類別，我們都著重介紹了其中的核心技術方法。此外，該綜述還深入探討了各種框架的優(yōu)勢及其局限性，并指明了未來研究的潛在方向。

香港大學數(shù)據(jù)智能實驗室的黃超教授領導的研究團隊，將在 KDD 2024 大會上深入探討大模型在圖學習領域所面臨的 "未知邊界"。

1 基本知識

在計算機科學領域，圖（Graph）是一種重要的非線性數(shù)據(jù)結構，它由節(jié)點集（V）和邊集（E）構成。每條邊連接一對節(jié)點，并可能是有向的（具有明確的起點和終點）或無向的（不指定方向）。特別值得一提的是，文本屬性圖（Text-Attributed Graph, TAG）作為圖的特殊形式，為每個節(jié)點分配了一個序列化的文本特征，如句子，這一特性在大型語言模型時代顯得尤為關鍵。文本屬性圖可以規(guī)范地表示為由節(jié)點集 V、邊集 E 和文本特征集 T 組成的三元組，即 G* = (V, E, T)。

圖神經(jīng)網(wǎng)絡（Graph Neural Networks, GNNs）是針對圖結構數(shù)據(jù)設計的深度學習框架。它通過聚合鄰近節(jié)點的信息來更新節(jié)點的嵌入表示。具體來說，GNN 的每一層都會通過特定的函數(shù)來更新節(jié)點嵌入 h，該函數(shù)綜合考慮當前節(jié)點的嵌入狀態(tài)以及周邊節(jié)點的嵌入信息，從而生成下一層的節(jié)點嵌入。

大型語言模型（Large Language Models, LLMs）是一種強大的回歸模型。近期研究顯示，包含數(shù)十億參數(shù)的語言模型在解決多種自然語言任務時表現(xiàn)卓越，如翻譯、摘要生成和指令執(zhí)行，因而被稱為大型語言模型。目前，大多數(shù)前沿的 LLMs 都基于采用查詢 - 鍵 - 值（QKV）機制的 Transformer 塊構建，該機制能高效地在詞元序列中整合信息。根據(jù)注意力的應用方向和訓練方式，語言模型可分為兩大類型：

• 掩碼語言建模（Masked Language Modeling, MLM）是一種廣受歡迎的 LLMs 預訓練目標。它涉及在序列中選擇性地掩蓋特定的詞元，并訓練模型依據(jù)周邊上下文預測這些被掩蓋的詞元。為實現(xiàn)精準預測，模型會綜合考慮被掩蓋詞元的前后文環(huán)境。
• 因果語言建模（Causal Language Modeling, CLM）是另一種主流的 LLMs 預訓練目標。它要求模型根據(jù)序列中先前的詞元預測下一個詞元。在此過程中，模型僅依據(jù)當前詞元之前的上下文來進行準確的預測。

2 圖學習與大語言模型

在這篇綜述文章中，作者依據(jù)模型的推理流程 —— 即圖數(shù)據(jù)、文本數(shù)據(jù)的處理方式以及與大型語言模型（LLMs）的交互方式，提出了一種新的分類方法。具體而言，我們歸納了四種主要的模型架構設計類型，具體如下：

• GNNs as Prefix（GNNs 作為前綴）：在此類別中，圖神經(jīng)網(wǎng)絡（GNNs）作為首要組件，負責處理圖數(shù)據(jù)，并為 LLMs 提供具有結構感知的標記（如節(jié)點級、邊級或圖級標記），以供后續(xù)推理使用。
• LLMs as Prefix（LLMs 作為前綴）：在這一類別中，LLMs 首先處理附帶文本信息的圖數(shù)據(jù)，隨后為圖神經(jīng)網(wǎng)絡的訓練提供節(jié)點嵌入或生成的標簽。
• LLMs-Graphs Integration（LLMs 與圖集成）：該類別的方法致力于實現(xiàn) LLMs 與圖數(shù)據(jù)之間更為深入的整合，例如通過融合訓練或與 GNNs 的對齊。此外，還構建了基于 LLM 的智能體（agent），以便與圖信息進行交互。
• LLMs-Only（僅使用 LLMs）：此類別設計了實用的提示技巧，將圖結構化數(shù)據(jù)嵌入到詞元序列中，從而便于 LLMs 進行推斷。同時，部分方法還融合了多模態(tài)標記，進一步豐富了模型的處理能力。

2.1 GNNs as Prefix

在圖神經(jīng)網(wǎng)絡（GNNs）作為前綴的方法體系中，GNNs 發(fā)揮著結構編碼器的作用，顯著提升了大型語言模型（LLMs）對圖結構數(shù)據(jù)的解析能力，從而為多種下游任務帶來益處。這些方法里，GNNs 主要作為編碼器，負責將復雜的圖數(shù)據(jù)轉(zhuǎn)換為包含豐富結構信息的圖 token 序列，這些序列隨后被輸入到 LLMs 中，與自然語言處理流程相契合。

這些方法大體上可分為兩類：首先是節(jié)點級 Token 化，即將圖結構中的每個節(jié)點單獨輸入到 LLM 中。這一做法的目的是使 LLM 能夠深入理解細粒度的節(jié)點級結構信息，并準確辨別不同節(jié)點間的關聯(lián)與差異。其次是圖級 Token 化，它采用特定的池化技術將整個圖壓縮為固定長度的 token 序列，旨在捕捉圖結構的整體高級語義。

對于節(jié)點級 Token 化而言，它特別適用于需要建模節(jié)點級別精細結構信息的圖學習任務，如節(jié)點分類和鏈接預測。在這些任務中，模型需要能夠區(qū)分不同節(jié)點間的細微語義差別。傳統(tǒng)的圖神經(jīng)網(wǎng)絡會根據(jù)相鄰節(jié)點的信息為每個節(jié)點生成一個獨特的表示，然后基于此進行下游的分類或預測。節(jié)點級 Token 化方法能夠最大限度地保留每個節(jié)點的特有結構特征，對下游任務的執(zhí)行大有裨益。

另一方面，圖級 Token 化則是為了適應那些需要從節(jié)點數(shù)據(jù)中提煉全局信息的圖級任務。在 GNN 作為前綴的框架下，通過各種池化操作，圖級 Token 化能夠?qū)⒈姸喙?jié)點表示綜合成一個統(tǒng)一的圖表示，這樣不僅能夠捕獲圖的全局語義，還能進一步提升各類下游任務的執(zhí)行效果。

2.2 LLMs as Prefix

大語言模型（LLMs）前綴法利用大型語言模型生成的豐富信息來優(yōu)化圖神經(jīng)網(wǎng)絡（GNNs）的訓練過程。這些信息涵蓋了文本內(nèi)容、LLMs 產(chǎn)生的標簽或嵌入等多種數(shù)據(jù)。根據(jù)這些信息的應用方式，相關技術可分為兩大類：一是利用 LLMs 生成的嵌入來助力 GNNs 的訓練；二是將 LLMs 生成的標簽整合到 GNNs 的訓練流程中。

在利用 LLMs 嵌入方面，GNNs 的推理過程涉及節(jié)點嵌入的傳遞與聚合。然而，初始節(jié)點嵌入的質(zhì)量和多樣性在不同領域中差異顯著，例如推薦系統(tǒng)中的 ID 基礎嵌入或引文網(wǎng)絡中的詞袋模型嵌入，可能缺乏清晰度和豐富性。這種嵌入質(zhì)量的不足有時會限制 GNNs 的性能表現(xiàn)。此外，缺乏通用的節(jié)點嵌入設計也影響了 GNNs 在處理不同節(jié)點集時的泛化能力。幸運的是，通過借助大型語言模型在語言總結和建模方面的卓越能力，我們可以為 GNNs 生成富有意義和效果的嵌入，從而提升其訓練效果。

在整合 LLMs 標簽方面，另一種策略是將這些標簽作為監(jiān)督信號，以增強 GNNs 的訓練效果。值得注意的是，這里的監(jiān)督標簽不僅限于傳統(tǒng)的分類標簽，還包括嵌入、圖等多種形式。由 LLMs 生成的信息并不直接作為 GNNs 的輸入數(shù)據(jù)，而是構成了更為精細的優(yōu)化監(jiān)督信號，從而幫助 GNNs 在各種圖相關任務上取得更加卓越的性能。

2.3 LLMs-Graphs Intergration

該類方法進一步整合了大型語言模型與圖數(shù)據(jù)，涵蓋多樣化的方法論，不僅提升了大型語言模型（LLMs）在圖處理任務中的能力，同時也優(yōu)化了圖神經(jīng)網(wǎng)絡（GNNs）的參數(shù)學習。這些方法可被歸納為三種類型：一是 GNNs 與 LLMs 的融合，旨在實現(xiàn)模型間的深度整合與共同訓練；二是 GNNs 與 LLMs 之間的對齊，專注于兩種模型在表示或任務層面上的對齊；三是構建基于 LLMs 的自主智能體，以規(guī)劃和執(zhí)行圖相關任務。

在 GNNs 與 LLMs 的融合方面，通常 GNNs 專注于處理結構化數(shù)據(jù)，而 LLMs 則擅長處理文本數(shù)據(jù)，這導致兩者具有不同的特征空間。為了解決這一問題，并促進兩種數(shù)據(jù)模態(tài)對 GNNs 和 LLMs 學習的共同增益，一些方法采用對比學習或期望最大化（EM）迭代訓練等技術，以對齊兩個模型的特征空間。這種做法提升了圖和文本信息的建模精度，從而在各種任務中提高了性能。

關于 GNNs 與 LLMs 的對齊，盡管表示對齊實現(xiàn)了兩個模型的共同優(yōu)化和嵌入級別的對齊，但在推理階段它們?nèi)允仟毩⒌摹榱藢崿F(xiàn) LLMs 和 GNNs 之間更緊密的集成，一些研究聚焦于設計更深層次的模塊架構融合，例如將 LLMs 中的變換器層與 GNNs 中的圖神經(jīng)層相結合。通過共同訓練 GNNs 和 LLMs，可以在圖任務中為兩個模塊帶來雙向的增益。

最后，在基于 LLM 的圖智能體方面，借助 LLMs 在指令理解和自我規(guī)劃解決問題上的出色能力，新的研究方向是構建基于 LLMs 的自主智能體，以處理人類給出的或與研究相關的任務。通常情況下，這樣的智能體包括記憶、感知和行動三個模塊，形成觀察、記憶回憶和行動的循環(huán)，用于解決特定任務。在圖論領域，基于 LLMs 的智能體能夠直接與圖數(shù)據(jù)進行交互，執(zhí)行如節(jié)點分類和鏈接預測等任務。

2.4 LLMs-Only

該綜述在 LLMs-Only 的章節(jié)中詳細闡述了直接將大型語言模型（LLMs）應用于各種以圖為導向任務的情況，即所謂的 “僅 LLMs” 類別。這些方法的目標是讓 LLMs 能夠直接接受圖結構信息，理解它，并結合這些信息對各種下游任務進行推理。這些方法主要可以分為兩大類：i）無需微調(diào)的方法，旨在設計 LLMs 能夠理解的提示，直接促使預訓練的 LLMs 執(zhí)行以圖為導向的任務；ii）需要微調(diào)的方法，專注于將圖轉(zhuǎn)換為特定方式的序列，并通過微調(diào)方法對齊圖 token 序列和自然語言 token 序列。

無需微調(diào)的方法：鑒于圖數(shù)據(jù)獨特的結構特性，出現(xiàn)了兩個關鍵挑戰(zhàn)：一是有效地用自然語言格式構建圖；二是確定大型語言模型（LLMs）是否能夠準確理解以語言形式表示的圖結構。為了解決這些問題，一部分研究人員開發(fā)了無需調(diào)整的方法，在純文本空間內(nèi)對圖進行建模和推理，從而探索預訓練 LLMs 在增強結構理解方面的潛力。

需要微調(diào)的方法：由于使用純文本表達圖結構信息存在局限性，近期的主流方法是在將圖輸入到大型語言模型（LLMs）時，將圖作為節(jié)點 token 序列與自然語言 token 序列對齊。與前述的 GNN 作為前綴的方法不同，需要調(diào)整的僅 LLM 方法放棄了圖編碼器，轉(zhuǎn)而采用特定的文本描述來體現(xiàn)圖結構，并且在提示中精心設計了 prompts，這在各種下游圖相關任務中取得了有希望的表現(xiàn)。

3 未來的研究方向

該綜述還討論了大型語言模型在圖領域的一些開放問題和潛在的未來研究方向：

多模態(tài)圖與大型語言模型（LLMs）的融合。近期研究顯示，大型語言模型在處理和理解圖像、視頻等多模態(tài)數(shù)據(jù)方面表現(xiàn)出非凡能力。這一進步為將 LLMs 與包含多種模態(tài)特征的多模態(tài)圖數(shù)據(jù)相結合提供了新的契機。研發(fā)能夠處理此類圖數(shù)據(jù)的多模態(tài) LLMs，將使我們在綜合考慮文本、視覺、聽覺等多種數(shù)據(jù)類型的基礎上，對圖結構進行更為精確和全面的推理。

提升效率與降低計算成本。目前，LLMs 的訓練和推理階段涉及的高昂計算成本已成為其發(fā)展的重大瓶頸，制約了它們處理包含數(shù)百萬節(jié)點的大規(guī)模圖數(shù)據(jù)的能力。當嘗試將 LLMs 與圖神經(jīng)網(wǎng)絡（GNNs）結合時，由于兩種強大模型的融合，這一挑戰(zhàn)變得更為嚴峻。因此，亟待發(fā)現(xiàn)并實施有效策略，以降低 LLMs 和 GNNs 的訓練計算成本，這不僅有助于緩解當前面臨的限制，還將進一步拓展 LLMs 在圖相關任務中的應用范圍，從而提升它們在數(shù)據(jù)科學領域的實用價值和影響力。

應對多樣化的圖任務。當前的研究方法主要集中在傳統(tǒng)的圖相關任務上，例如鏈接預測和節(jié)點分類。但考慮到 LLMs 的強大能力，我們有必要深入探索其在處理更為復雜和生成性任務方面的潛力，如圖生成、圖理解以及基于圖的問題回答等。通過擴展基于 LLM 的方法以涵蓋這些復雜任務，我們將為 LLMs 在不同領域的應用開辟無數(shù)新機遇。例如，在藥物研發(fā)領域，LLMs 可以促進新分子結構的生成；在社交網(wǎng)絡分析領域，它們可以提供對復雜關系模式的深入洞察；在知識圖譜構建方面，LLMs 則有助于創(chuàng)建更加全面且上下文準確的知識庫。

構建用戶友好的圖智能體。目前，大多數(shù)為圖相關任務設計的基于 LLM 的智能體都是針對單一任務定制的。這些智能體通常采用單次運行模式，旨在一次性解決問題。然而，理想的基于 LLM 的智能體應具備用戶友好性，并且能夠動態(tài)地在圖數(shù)據(jù)中搜索答案，以響應用戶提出的多樣化開放式問題。為實現(xiàn)這一目標，我們需要開發(fā)一個既靈活又穩(wěn)健的智能體，它能夠與用戶進行迭代交互，并熟練應對圖數(shù)據(jù)的復雜性，提供準確且相關的答案。這將要求智能體不僅具備高度的適應性，還需展現(xiàn)出強大的穩(wěn)健性。

4 總結

該綜述對圖數(shù)據(jù)定制的大型語言模型（LLMs）進行了深入探討，并提出了基于模型的推理框架設的分類方法，將不同的模型細致地劃分為四種各具特色的框架設計。每一種設計都展現(xiàn)出其獨特的優(yōu)點與局限性。不僅如此，該綜述還對這些特性展開了全面的討論，深入挖掘了每一種框架在應對圖數(shù)據(jù)處理任務時的潛力和挑戰(zhàn)。此項調(diào)研工作旨在為那些熱衷于探索并應用大型語言模型來解決圖相關問題的研究人員提供參考資源，并且希望最終通過這項工作，推動對 LLMs 與圖數(shù)據(jù)結合應用的更深層次理解，進一步催生該領域的技術創(chuàng)新和突破。