在大模型時(shí)代，圖機(jī)器學(xué)習(xí)面臨什么樣的機(jī)遇和挑戰(zhàn)？是否存在，并該如何發(fā)展圖的大模型？針對(duì)這一問(wèn)題，清華大學(xué)朱文武教授團(tuán)隊(duì)首次提出圖大模型（Large Graph Model）概念，系統(tǒng)總結(jié)并梳理了圖大模型相關(guān)的概念、挑戰(zhàn)和應(yīng)用；進(jìn)一步圍繞動(dòng)態(tài)性和可解釋性，在動(dòng)態(tài)圖大模型和解耦圖大模型方面取得了研究進(jìn)展。

論文地址：https://arxiv.org/abs/2308.14522

一、相關(guān)概念

（一）圖大模型

圖大模型是指具有大量參數(shù)的圖機(jī)器學(xué)習(xí)模型，具有比小模型更強(qiáng)大的學(xué)習(xí)能力，能更好地對(duì)圖數(shù)據(jù)進(jìn)行理解、分析和應(yīng)用。為實(shí)現(xiàn)上述目標(biāo)，圖大模型應(yīng)該具有以下四方面的核心能力：

1. 圖學(xué)習(xí)模型的規(guī)模定律（graph models with scaling law）：規(guī)模定律是首先在大語(yǔ)言模型（LLM）中發(fā)現(xiàn)的一種經(jīng)驗(yàn)現(xiàn)象，即模型性能隨著規(guī)模、數(shù)據(jù)集規(guī)模和訓(xùn)練計(jì)算量的增加而持續(xù)提升。借鑒大語(yǔ)言模型的經(jīng)驗(yàn)，圖大模型應(yīng)能夠展現(xiàn)出當(dāng)前小規(guī)?；蛑械纫?guī)模圖學(xué)習(xí)模型無(wú)法具備的新能力。

2. 圖基礎(chǔ)模型（graph foundation model）：圖基礎(chǔ)模型是指一個(gè)經(jīng)過(guò)預(yù)訓(xùn)練的圖大模型能夠處理不同領(lǐng)域的圖數(shù)據(jù)和任務(wù)。這要求圖大模型能夠理解圖的內(nèi)在結(jié)構(gòu)和性能，以具備圖的 “常識(shí)知識(shí)”。圖預(yù)訓(xùn)練范式可以讓模型接觸大量無(wú)標(biāo)簽圖數(shù)據(jù)，從而減少對(duì)圖標(biāo)簽的依賴，是發(fā)展圖基礎(chǔ)模型的重要途徑。此外，生成式預(yù)訓(xùn)練可以賦予模型生成圖數(shù)據(jù)的能力，從而支持許多有重要價(jià)值的圖生成應(yīng)用，例如藥物合成、代碼生成等。盡管如此，由于圖數(shù)據(jù)的通用性和多樣性，目前來(lái)看為所有領(lǐng)域的圖數(shù)據(jù)開(kāi)發(fā)出一個(gè) “通用圖模型” 是幾乎不可行的。因此，為不同簇的相關(guān)領(lǐng)域開(kāi)發(fā)若干個(gè)圖基礎(chǔ)模型可能更加容易實(shí)現(xiàn)。

3. 圖上下文學(xué)習(xí)（in-context graph learning）：圖大模型應(yīng)具有理解圖上下文的能力，包括節(jié)點(diǎn)、邊、子圖和全圖等，并且在上述過(guò)程中無(wú)需進(jìn)行過(guò)多的模型修改或?qū)W習(xí)范式改變。該能力與圖的少樣本 / 零樣本學(xué)習(xí)、多任務(wù)學(xué)習(xí)和圖的分布外泛化能力密切相關(guān)。上下文學(xué)習(xí)能力可以使圖大模型充分利用預(yù)訓(xùn)練階段學(xué)習(xí)到的知識(shí)和能力，并在新數(shù)據(jù)測(cè)試中快速適應(yīng)以達(dá)到預(yù)期性能。

4. 靈活的圖推理能力（versatile graph reasoning）：雖然圖數(shù)據(jù)橫跨不同領(lǐng)域，但有一些基礎(chǔ)圖任務(wù)是共通的，我們稱其為 “圖推理”。目前哪些任務(wù)屬于圖推理并無(wú)嚴(yán)格的定義，下面介紹一些代表性的例子。首先，圖大模型應(yīng)該理解基本的圖拓?fù)浣Y(jié)構(gòu)，如圖的大小、度數(shù)、節(jié)點(diǎn)連通性等，它們也是處理更復(fù)雜圖任務(wù)的基礎(chǔ)。其次，圖大模型應(yīng)該能夠進(jìn)行圖上的多跳推理，以考慮圖的高階信息。這種能力與大語(yǔ)言模型的思維鏈（Chain-of-Thought）異曲同工，可以增強(qiáng)圖任務(wù)相關(guān)決策過(guò)程中的可解釋性和模型透明性。除了局部信息，圖大模型還應(yīng)具備理解和處理全局結(jié)構(gòu)和更復(fù)雜圖模式相關(guān)圖任務(wù)的能力。

雖然圖大模型有許多值得期待的能力，但目前尚未出現(xiàn)如 ChatGPT 一樣成功的圖大模型。接下來(lái)，我們將從圖表征空間、圖數(shù)據(jù)、圖學(xué)習(xí)模型以及圖應(yīng)用對(duì)圖大模型目前的研究進(jìn)展和存在的瓶頸進(jìn)行梳理。

（二）圖表征空間

大語(yǔ)言模型可以廣泛用于不同的下游任務(wù)，其背后一個(gè)重要原因在于自然語(yǔ)言中的單詞與詞元（token）屬于一種通用且信息無(wú)損的數(shù)據(jù)表征方式，可以用于不同任務(wù)。相比之下，圖是一種更加通用的數(shù)據(jù)結(jié)構(gòu)，涵蓋了不同領(lǐng)域。因此，以原始圖數(shù)據(jù)作為輸入，例如節(jié)點(diǎn)和邊，并不總是最合適的數(shù)據(jù)表征方式。例如，在社交網(wǎng)絡(luò)、分子圖和知識(shí)圖譜中，節(jié)點(diǎn)和邊都具有不同的語(yǔ)義特征和拓?fù)淇臻g，存在顯著差異性。

之前研究中普遍認(rèn)為，更高層次的圖模式，可以在領(lǐng)域內(nèi)不同的圖和任務(wù)之間進(jìn)行知識(shí)遷移。例如，網(wǎng)絡(luò)科學(xué)中研究的同質(zhì)性、小世界現(xiàn)象、節(jié)點(diǎn)度數(shù)的冪律分布等，均有更廣泛的適用性。即便如此，如何構(gòu)建有效的、能夠在不同領(lǐng)域圖數(shù)據(jù)中遷移的圖大模型仍帶來(lái)巨大的挑戰(zhàn)。

此外，大語(yǔ)言模型另一個(gè)關(guān)鍵能力是能夠遵循指令并與人交互，因?yàn)槿祟?lèi)天生具備理解語(yǔ)言和視覺(jué)的能力。相比而言，人在處理圖數(shù)據(jù)，尤其是復(fù)雜的推理問(wèn)題方面，并不具備先天優(yōu)勢(shì)。如何與圖大模型進(jìn)行互動(dòng)，使其可以按照期望的方式解決圖任務(wù)，同樣具有挑戰(zhàn)性。為解決該問(wèn)題，下面總結(jié)了三種值得探索的策略。

第一種策略是通過(guò)大量的成對(duì)數(shù)據(jù)將圖和文本的表征空間進(jìn)行對(duì)齊，這與目前大模型處理計(jì)算機(jī)視覺(jué)（如 DALLE 等）的方法原理類(lèi)似。如果成功，我們也能夠使用自然語(yǔ)言與圖大模型進(jìn)行交流，例如要求模型生成具有某些屬性的分子圖，或要求模型執(zhí)行某些圖推理任務(wù)等。目前已經(jīng)有對(duì)于文本屬性圖（text-attributed graph）的一些初步嘗試。然而，相比于圖像-文本對(duì)，收集更廣泛的圖-文本對(duì)數(shù)據(jù)成本更高，也更具挑戰(zhàn)性。

第二種策略是將圖轉(zhuǎn)化為自然語(yǔ)言，然后僅通過(guò)語(yǔ)言模型進(jìn)行處理。最常見(jiàn)的流程是首先將圖結(jié)構(gòu)轉(zhuǎn)化為文本表示（例如鄰接表或邊表），作為提示插入到大語(yǔ)言模型中，然后使用自然語(yǔ)言進(jìn)行圖分析。該方向近期受到了一定關(guān)注，將在后文的圖模型中進(jìn)行更詳細(xì)的討論。然而，將圖數(shù)據(jù)和任務(wù)轉(zhuǎn)化為語(yǔ)言時(shí)可能會(huì)丟失圖的內(nèi)部結(jié)構(gòu)，導(dǎo)致模型性能目前尚無(wú)法達(dá)到預(yù)期。

最后一種策略是通過(guò)其它表征空間作為圖任務(wù)和自然語(yǔ)言之間的橋梁。例如，盡管人類(lèi)很難直觀地處理圖數(shù)據(jù)，但我們可以設(shè)計(jì)合適的算法來(lái)解決不同圖任務(wù)，例如圖論中許多著名的算法，包括最短路、動(dòng)態(tài)規(guī)劃等。因此，如果可以將圖學(xué)習(xí)模型的運(yùn)行狀態(tài)與算法對(duì)齊，就能在一定程度上理解和控制圖學(xué)習(xí)模型的運(yùn)行狀態(tài)。這個(gè)方向上同樣有一些研究成果，被稱為算法推理（algorithmic reasoning），值得繼續(xù)探索。

總結(jié)來(lái)看，找到合適的圖表征空間并與自然語(yǔ)言對(duì)齊，同時(shí)統(tǒng)一不同領(lǐng)域的圖數(shù)據(jù)和圖任務(wù)，是構(gòu)建圖大模型的一個(gè)基礎(chǔ)。

（三）圖數(shù)據(jù)

大模型的成功離不開(kāi)大規(guī)模數(shù)據(jù)集的支撐。例如，GPT-3 在大約 5000 億個(gè)詞元的語(yǔ)料庫(kù)上進(jìn)行了預(yù)訓(xùn)練；多模態(tài)模型 CLIP 則在 4 億個(gè)圖像-文本對(duì)上進(jìn)行了訓(xùn)練。更近期的大模型，例如 GPT-4，使用了更多的數(shù)據(jù)。這些自然語(yǔ)言和計(jì)算機(jī)視覺(jué)的大數(shù)據(jù)通常來(lái)自互聯(lián)網(wǎng)，例如 CommonCrawl 中的網(wǎng)頁(yè)或社交媒體中用戶發(fā)布的照片，這些數(shù)據(jù)相對(duì)而言更易于規(guī)?；厥占?。

相比之下，大規(guī)模圖數(shù)據(jù)并不容易獲取。圖通常面臨兩類(lèi)場(chǎng)景：大量的小規(guī)模圖，如很多分子圖，或者少數(shù)大規(guī)模圖，如社交網(wǎng)絡(luò)或引用網(wǎng)絡(luò)。例如，OGB（Open Graph Benchmark）是圖機(jī)器學(xué)習(xí)中最具代表性的基準(zhǔn)數(shù)據(jù)集之一，其中最大的兩個(gè)數(shù)據(jù)集，MAG240M 包含了一個(gè)大約有 2.4 億個(gè)節(jié)點(diǎn)和 13 億條邊的引用網(wǎng)絡(luò)，PCQM4M 則包含了大約 400 萬(wàn)個(gè)分子。盡管 OGB 已經(jīng)比之前常用的圖數(shù)據(jù)大了幾個(gè)數(shù)量級(jí)，但它的規(guī)?？赡苓€是遠(yuǎn)遠(yuǎn)不夠。如果將 MAG240M 中的每個(gè)節(jié)點(diǎn)視為一個(gè)詞元或?qū)?PCQM4M 中的每個(gè)圖視為一張圖片，那 OGB 仍比自然語(yǔ)言或計(jì)算機(jī)視覺(jué)中使用的數(shù)據(jù)集小至少 1000 倍。

除了預(yù)訓(xùn)練所需的大規(guī)模無(wú)標(biāo)注數(shù)據(jù)，帶標(biāo)簽的基準(zhǔn)數(shù)據(jù)集在大模型研制中同樣重要，例如用于自然語(yǔ)言的 SuperGLUE 和 BIG-bench，用于計(jì)算機(jī)視覺(jué)的 ImageNet 等。對(duì)于圖，上面介紹的 OGB 或其它圖機(jī)器學(xué)習(xí)基準(zhǔn)，例如 Benchmarking GNN，它們的規(guī)模、任務(wù)和領(lǐng)域多樣性以及測(cè)評(píng)方式可能也不完全適合圖大模型。因此，圖大模型的研究應(yīng)當(dāng)包括設(shè)計(jì)更有針對(duì)性的基準(zhǔn)測(cè)試數(shù)據(jù)。

（四）圖學(xué)習(xí)模型（graph model）

1. 神經(jīng)網(wǎng)絡(luò)架構(gòu)

圖神經(jīng)網(wǎng)絡(luò)（GNN）與圖 Transformer 是兩類(lèi)最主流的圖機(jī)器學(xué)習(xí)模型，可以從以下四個(gè)方面對(duì)兩類(lèi)模型進(jìn)行對(duì)比：

• 聚合 vs. 自注意力：GNN 采用消息傳遞機(jī)制聚合來(lái)自相鄰節(jié)點(diǎn)的信息，而圖 Transformer 則使用自注意力來(lái)決定相鄰節(jié)點(diǎn)的貢獻(xiàn)。
• 建模圖結(jié)構(gòu)：GNN 會(huì)在消息傳遞過(guò)程中考慮圖結(jié)構(gòu)作為模型的歸納偏置，而圖 Transformer 則采用結(jié)構(gòu)編碼等預(yù)處理策略來(lái)建模結(jié)構(gòu)。
• 深度與過(guò)平滑：深層 GNN 可能會(huì)受到過(guò)平滑的影響，導(dǎo)致其能力下降。圖 Transformer 一般則未觀察到類(lèi)似問(wèn)題。一種可能的解釋是，圖 Transformer 能自適應(yīng)地關(guān)注更加相關(guān)的節(jié)點(diǎn)，從而有效地過(guò)濾信息。
• 可擴(kuò)展性和效率：大多數(shù) GNN 的基本操作相對(duì)簡(jiǎn)單，因此計(jì)算上有優(yōu)勢(shì)。相比之下，圖 Transformer 中節(jié)點(diǎn)對(duì)的自注意力機(jī)制會(huì)耗費(fèi)更大量計(jì)算資源，尤其是對(duì)大規(guī)模圖數(shù)據(jù)。

2. 預(yù)訓(xùn)練

在大規(guī)模無(wú)標(biāo)注語(yǔ)料上進(jìn)行預(yù)訓(xùn)練早已成為大模型在自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)領(lǐng)域中成功不可或缺的因素。圖上的預(yù)訓(xùn)練，或稱為圖自監(jiān)督學(xué)習(xí)，同樣獲得了關(guān)注，發(fā)展出包括對(duì)比式（contrastive）與預(yù)測(cè)式（predictive）學(xué)習(xí)等多類(lèi)方法，我們將其總結(jié)為圖上預(yù)處理的四 E 原則：

• 編碼（Encoding）圖結(jié)構(gòu)：與文本和圖像數(shù)據(jù)預(yù)訓(xùn)練方法更關(guān)注語(yǔ)義信息不同，圖包含豐富的結(jié)構(gòu)信息。因此，預(yù)訓(xùn)練圖大模型需要聯(lián)合考慮不同圖數(shù)據(jù)集上的結(jié)構(gòu)和語(yǔ)義信息。
• 緩解（Easing）數(shù)據(jù)稀疏與標(biāo)簽缺乏：圖大模型應(yīng)具有很大的模型容量，因此容易出現(xiàn)過(guò)擬合，特別是在僅使用少量標(biāo)注數(shù)據(jù)時(shí)。在更大規(guī)模的圖數(shù)據(jù)集和不同的圖任務(wù)上進(jìn)行預(yù)訓(xùn)練可以起到正則化的作用，提高泛化性。
• 擴(kuò)展（Expanding）應(yīng)用領(lǐng)域：預(yù)訓(xùn)練的一個(gè)特點(diǎn)是能夠?qū)⑺鶎W(xué)知識(shí)遷移到不同領(lǐng)域。通過(guò)在不同的圖數(shù)據(jù)集上對(duì)圖大模型進(jìn)行預(yù)訓(xùn)練，以捕捉到更通用的結(jié)構(gòu)，然后將這些知識(shí)應(yīng)用、適配或微調(diào)到相似領(lǐng)域的圖數(shù)據(jù)中，從而最大程度地提升模型的適用性。
• 提升（Enhancing）魯棒性與泛化性：預(yù)訓(xùn)練可以讓圖大模型接觸到具有不同特點(diǎn)的圖數(shù)據(jù)，包括不同大小、結(jié)構(gòu)和復(fù)雜性的圖，從而使模型更加魯棒并泛化到未見(jiàn)過(guò)的圖數(shù)據(jù)或新的圖任務(wù)。

3. 模型適配

模型適配是將大語(yǔ)言模型應(yīng)用到不同下游任務(wù)的重要環(huán)節(jié)，這對(duì)圖大模型同樣成立。代表性的模型適配技術(shù)包括提示學(xué)習(xí)（prompting）、高效參數(shù)微調(diào)（parameter-efficient fine-tuning）、模型對(duì)齊（alignment）和模型壓縮（model compression）等。下面簡(jiǎn)要總結(jié)用于圖模型的適配技術(shù)。

提示學(xué)習(xí)最初是指為語(yǔ)言模型提供特定指令，以生成下游任務(wù)所需的內(nèi)容。在大模型中，如何構(gòu)建有效的提示是提升其在上下文學(xué)習(xí)效果的重要途徑。例如，大語(yǔ)言模型的提示通常包含下游任務(wù)的描述和一些示例。構(gòu)建提示的一個(gè)關(guān)鍵在于使下游任務(wù)的形式和預(yù)訓(xùn)練任務(wù)一致。在自然語(yǔ)言中，許多不同的任務(wù)都可以被統(tǒng)一建模為語(yǔ)言模型（language model），即通過(guò)上文生成下文。相比之下，圖數(shù)據(jù)的提示學(xué)習(xí)面臨的一個(gè)重要挑戰(zhàn)是如何統(tǒng)一不同的圖任務(wù)，包括節(jié)點(diǎn)級(jí)、邊級(jí)和圖級(jí)的任務(wù)等。

高效參數(shù)微調(diào)（parameter-efficient fine-tuning）是指僅優(yōu)化模型的一小部分參數(shù)，而將其余參數(shù)保持固定的一種微調(diào)技術(shù)。除了減少計(jì)算成本，它還可以通過(guò)自適應(yīng)使模型能夠處理新任務(wù)，同時(shí)不忘記預(yù)訓(xùn)練中獲得的知識(shí)。近期，圖模型高效參數(shù)微調(diào)也開(kāi)始受到關(guān)注。 

模型壓縮旨在通過(guò)各種技術(shù)（包括知識(shí)蒸餾、剪枝和量化等）減少模型對(duì)硬件的需求，尤其適用于在資源受限場(chǎng)景中部署大模型。量化（Quantization）在大語(yǔ)言模型中受到了廣泛關(guān)注。量化的核心是減少模型使用的數(shù)值精度，同時(shí)盡可能保持模型性能。對(duì)于大模型，訓(xùn)練后量化（PTQ）尤其受歡迎，因?yàn)樗鼰o(wú)需重新訓(xùn)練大模型。

總結(jié)來(lái)看，受到大語(yǔ)言模型等相關(guān)技術(shù)啟發(fā)，圖的模型適配研究同樣吸引了一定關(guān)注。然而，由于目前尚無(wú)特別成功的圖大模型，這些方法的評(píng)估局限于相對(duì)較小的圖模型。因此，進(jìn)一步驗(yàn)證它們?cè)趹?yīng)用于圖大模型時(shí)的有效性至關(guān)重要，也會(huì)帶來(lái)更多的挑戰(zhàn)和機(jī)遇。

4. 圖上的大語(yǔ)言模型

近期，一個(gè)新的研究熱點(diǎn)是直接利用大語(yǔ)言模型解決圖任務(wù)。其基本思想是將圖數(shù)據(jù)（包括圖結(jié)構(gòu)和特征）以及圖任務(wù)轉(zhuǎn)化為自然語(yǔ)言表示，然后將圖問(wèn)題視為常規(guī)的自然語(yǔ)言處理問(wèn)題。例如，NLGraph 對(duì)大語(yǔ)言模型（如 GPT-3 和 GPT-4）在八個(gè)圖推理任務(wù)上進(jìn)行了系統(tǒng)評(píng)估。這些任務(wù)涵蓋了不同復(fù)雜度的問(wèn)題，包括連通性、最短路徑、最大流、模擬 GNN 等。實(shí)證結(jié)果發(fā)現(xiàn)，大語(yǔ)言模型在圖推理方面顯示出初步的能力，但在處理更復(fù)雜的圖問(wèn)題上存在瓶頸。

另一個(gè)代表性工作 Graph-LLM 則系統(tǒng)地研究了大語(yǔ)言模型在文本屬性圖中的應(yīng)用。具體而言，它探索了兩種策略：大語(yǔ)言模型作為增強(qiáng)器（LLMs-as-Enhancers），即使用大語(yǔ)言模型增強(qiáng)節(jié)點(diǎn)的文本屬性表征，然后將其傳遞給其他圖模型，例如圖神經(jīng)網(wǎng)絡(luò)；大語(yǔ)言模型作為預(yù)測(cè)器（LLMs-as-Predictors），即直接將大語(yǔ)言模型用作預(yù)測(cè)器。實(shí)驗(yàn)結(jié)果表明，大語(yǔ)言模型可以為圖機(jī)器學(xué)習(xí)提供巨大幫助。盡管這類(lèi)研究仍處于早期階段，但它們驗(yàn)證了大語(yǔ)言模型也是發(fā)展圖大模型的一個(gè)可能途徑，值得進(jìn)一步探索和研究。

（五）圖應(yīng)用

圖大模型存在許多有價(jià)值的潛在應(yīng)用，包括但不限于推薦系統(tǒng)、知識(shí)圖譜、分子建模、金融分析、代碼與程序分析、城市計(jì)算與交通等。在這些領(lǐng)域中，目前已經(jīng)出現(xiàn)了部分基于大語(yǔ)言模型的嘗試，但大都忽略了圖結(jié)構(gòu)信息。為使圖大模型在這些領(lǐng)域中有效應(yīng)用，需要利用大量易收集的圖數(shù)據(jù)，并結(jié)合領(lǐng)域知識(shí)，對(duì)圖大模型進(jìn)行相應(yīng)處理，例如微調(diào)或提示學(xué)習(xí)等。

二、研究進(jìn)展

朱文武教授團(tuán)隊(duì)針對(duì)圖大模型關(guān)鍵問(wèn)題，圍繞動(dòng)態(tài)性和可解釋性，取得了如下進(jìn)展。

（一）基于大語(yǔ)言模型的動(dòng)態(tài)圖評(píng)測(cè)基準(zhǔn)與時(shí)空解耦思維鏈提示

動(dòng)態(tài)圖，即圖中信息隨時(shí)間發(fā)生變化，在真實(shí)世界中非常普遍，并在交通預(yù)測(cè)、欺詐檢測(cè)、序列推薦等領(lǐng)域具有廣泛的應(yīng)用。雖然之前一些工作探索了大語(yǔ)言模型在靜態(tài)圖上的能力。但大語(yǔ)言模型能否理解和處理動(dòng)態(tài)圖上的時(shí)空信息尚未被研究。相比于靜態(tài)圖，動(dòng)態(tài)圖具有更復(fù)雜的時(shí)空混合模式，因此更具挑戰(zhàn)性，總結(jié)為如下三方面：

• 如何設(shè)計(jì)動(dòng)態(tài)圖任務(wù)以評(píng)估大語(yǔ)言模型理解時(shí)間和圖結(jié)構(gòu)信息的能力；
• 動(dòng)態(tài)圖上時(shí)間和空間維度具有復(fù)雜的相互作用，如何研究這些相互作用對(duì)模型性能的影響；
• 如何設(shè)計(jì)動(dòng)態(tài)圖和相關(guān)任務(wù)的提示，使得模型能通過(guò)自然語(yǔ)言建模時(shí)空信息。

針對(duì)這些問(wèn)題，朱文武教授團(tuán)隊(duì)提出了一個(gè) LLM4DyG，首個(gè)用于評(píng)估大語(yǔ)言模型在動(dòng)態(tài)圖上時(shí)空理解能力的評(píng)測(cè)基準(zhǔn)。

LLM4DyG 評(píng)測(cè)基準(zhǔn)流程圖

具體而言，我們針對(duì)性地設(shè)計(jì)了九個(gè)動(dòng)態(tài)圖任務(wù)，從時(shí)間、空間、時(shí)空三個(gè)維度評(píng)估大語(yǔ)言模型的能力，這些任務(wù)包括不同的時(shí)空模式（如時(shí)空連接、時(shí)空路徑和動(dòng)態(tài)三角閉合等）以及三類(lèi)不同的問(wèn)題：“何時(shí)”(when)、“在哪”(where)、“是否”(whether)。同時(shí)，還采用了：

• 三種不同的數(shù)據(jù)生成方法，包括 Erd?s-Rényi 模型、隨機(jī)塊模型和森林火災(zāi)模型；
• 多種統(tǒng)計(jì)指標(biāo)，包括時(shí)間跨度、圖大小和密度等；
• 四種常見(jiàn)的提示技術(shù)，包括零樣本 / 少樣本提示、零樣本 / 少樣本思維鏈提示等；
• 以及五種大語(yǔ)言模型，包括閉源的 GPT-3.5 和開(kāi)源的 Vicuna-7B、Vicuna-13B、Llama-2-13B 以及 CodeLlama-2-13B。

根據(jù)實(shí)驗(yàn)觀察，我們進(jìn)一步設(shè)計(jì)了動(dòng)態(tài)圖時(shí)空解耦思維鏈 (DST2) 提示技術(shù)，以鼓勵(lì)大語(yǔ)言模型分別處理空間和時(shí)間信息。實(shí)驗(yàn)結(jié)果表明，DST2 可以有效提高大語(yǔ)言模型在動(dòng)態(tài)圖任務(wù)上的表現(xiàn)。

LLM4DyG 動(dòng)態(tài)圖任務(wù)

（二）解耦圖大語(yǔ)言模型

文本屬性圖（text attributed graph）在研究與應(yīng)用上均非常普遍，例如引用網(wǎng)絡(luò)、電子商務(wù)網(wǎng)絡(luò)和社交網(wǎng)絡(luò)等。最近，同樣有不少研究將大語(yǔ)言模型應(yīng)用于文本屬性圖。然而，現(xiàn)有方法僅通過(guò)提示將圖結(jié)構(gòu)信息傳遞給大語(yǔ)言模型，導(dǎo)致大語(yǔ)言模型無(wú)法理解圖內(nèi)部復(fù)雜的結(jié)構(gòu)關(guān)系。針對(duì)該問(wèn)題，我們提出了解耦圖 - 文本學(xué)習(xí)（DGTL）模型，以增強(qiáng)大語(yǔ)言模型在文本屬性圖上的推理和預(yù)測(cè)能力。DGTL 模型通過(guò)解耦圖神經(jīng)網(wǎng)絡(luò)層將圖結(jié)構(gòu)信息進(jìn)行編碼，使大語(yǔ)言模型能夠捕捉文本屬性圖中隱藏結(jié)構(gòu)因子間的復(fù)雜關(guān)系。此外，DGTL 模型無(wú)需對(duì)預(yù)訓(xùn)練大語(yǔ)言模型中的參數(shù)進(jìn)行微調(diào)，從而降低計(jì)算成本，并適配于不同的大語(yǔ)言模型。實(shí)驗(yàn)結(jié)果證明所提出的 DGTL 模型能達(dá)到比最先進(jìn)基線模型更優(yōu)或相仿的性能，同時(shí)還可以為預(yù)測(cè)結(jié)果提供基于自然語(yǔ)言的解釋，顯著提高了模型的可解釋性。

DGTL 模型框架圖

相關(guān)鏈接：

論文合集：https://github.com/THUMNLab/awesome-large-graph-model