在計算機科學領域，圖形結構由節(jié)點（代表實體）和邊（表示實體之間的關系）構成。

圖無處不在。

互聯(lián)網(wǎng)本身就像是一張龐大的網(wǎng)絡圖，甚至搜索引擎所使用的知識也是以圖的形式進行組織和呈現(xiàn)。

但由于LLMs主要在常規(guī)文本上訓練，并沒有圖的結構，將圖轉化為LLMs能理解的文本是一項非常復雜的任務。

在ICLR 2024上，一支來自谷歌的團隊探索了如何將圖形數(shù)據(jù)轉換為適合LLMs理解的形式。

論文地址：https://openreview.net/pdf?id=IuXR1CCrSi

使用兩種不同的方法將圖形編碼為文本，并將文本和問題反饋給LLM的過程

他們還創(chuàng)造了一個名為GraphQA的基準，用于研究不同的圖推理問題解決方法，并演示了如何以一種讓LLM能夠解決圖形相關問題的方式來表述圖相關問題。

使用正確的方法，使得LLMs在圖形任務上最高得以提升60%的性能。

GraphOA：一場對LLMs的「考試」

首先，谷歌團隊設計了GraphQA基準測試，它可以被看作是一門考試，旨在評估LLM針對特定于圖形問題的能力。

GraphOA通過使用多種類型的圖表，確保廣度和連接數(shù)量的多樣性，以尋找LLMs在處理圖形時可能存在的偏差情況，并使整個過程更接近LLMs在實際應用中可能遇到的情況。

使用GraphIQA對LLMs進行推理的框架

雖然任務很簡單，比如檢查邊是否存在、計算節(jié)點或者邊的數(shù)量等等，但這些任務都需要LLMs理解節(jié)點和邊之間的關系，對于更復雜的圖形推理至關重要。

同時，團隊還探索了如何將圖轉換為LLMs可以處理的文本，比如解決了如下兩個關鍵問題：

節(jié)點編碼：我們如何表示單個節(jié)點？節(jié)點可以包括簡單整數(shù)、常用名稱（人名、字符）和字母。

邊緣編碼：我們如何描述節(jié)點之間的關系？方法可以包括括號符號、短語（如「是朋友」）和符號表示（如箭頭）。

最終，研究人員通過系統(tǒng)地結合各種節(jié)點和邊的編碼方式，產生了像下圖中展示的那些函數(shù)。

圖形編碼函數(shù)的例子

LLMs表現(xiàn)怎么樣呢？

研究團隊在GraphOA上進行了三個關鍵實驗：

1. 測試LLMs處理圖形任務的能力
2. 測試LLMs的大小對性能的影響
3. 測試不同圖形形狀對性能的影響

在第一個實驗中，LLMs表現(xiàn)平平，在大多數(shù)基本任務上，LLMs的表現(xiàn)并不比隨機猜測好多少。

但編碼方式顯著影響結果，如下圖所示，在大多數(shù)情況下，「incident」編碼在大多數(shù)任務中表現(xiàn)出色。選擇合適的編碼函數(shù)可以極大的提高任務的準確度。

基于不同任務準確度的各種圖編碼器函數(shù)的比較

在第二個測試中，研究人員在不同大小的模型上測試了相同的圖形任務。

就結論而言，在圖形推理任務中，規(guī)模更大的模型表現(xiàn)更好，

然而有趣的是，在「邊存在性」任務（確定圖中兩個節(jié)點是否相連）中，規(guī)模并不像其他任務那么重要。

即使是最大的LLM在循環(huán)檢查問題上（確定圖中是否存在循環(huán)）也無法始終擊敗簡單的基線解決方案。這表明LLMs在某些圖任務上仍有改進的空間。

模型容量對PaLM 2-XXS、XS、S和L的圖推理任務的影響

在第三個測試中，對于圖形結構是否會影響LMMs解決問題的能力，研究人員通過GraphOA生成不同結構的圖形進行分析。

GraphQA不同圖形生成器生成的圖形示例。ER、BA、SBM和SFN分別是Erd?s-Rényi、Barabási-Albert、隨機塊模型和無標度網(wǎng)絡。

結果得出，圖的結構對LLMs的性能有很大影響。

例如，在一個詢問循環(huán)是否存在的任務中，LLMs在緊密相連的圖形中表現(xiàn)出色（這里循環(huán)很常見），但在路徑圖中表現(xiàn)不佳（循環(huán)從不發(fā)生）。

但同時提供一些混合樣本有助于LLMs適應，比如在循環(huán)檢測任務中，研究人員在提示中添加了一些包含循環(huán)和一些不包含循環(huán)的示例作為少樣本學習的例子，通過這種方式提高了LLMs的性能。

在不同的圖任務上比較不同的圖生成器。主要觀察結果是，圖結構對LLM的性能有顯著影響。ER、BA、SBM和SFN分別指的是Erd?s-Rényi、Barabási-Albert、隨機塊模型和無標度網(wǎng)絡。

這僅僅是讓LLMs理解圖的開始

在論文中，谷歌團隊初步探索了如何將圖形最佳地表示為文本，以便LLMs能理解他們。

在正確編碼技術的幫助下，顯著提高了LLMs在圖形問題上的準確性（從大約5%到超過60%的改進）。

同時也確定了三個主要的影響因子，分別為圖形轉換為文本的編碼方式、不同圖形的任務類型、以及圖形的疏密結構。

這僅僅是讓LLMs理解圖的開始。在新基準測試GraphQA的幫助下，期待進一步研究，探索LLMs的更多可能性。