[[317692]]

圖神經(jīng)網(wǎng)絡(luò)發(fā)展到什么程度了？現(xiàn)在我們有了專用的 Benchmark 工具來進(jìn)行評(píng)測(cè)。

近期的大量研究已經(jīng)讓我們看到了圖神經(jīng)網(wǎng)絡(luò)模型（GNN）的強(qiáng)大潛力，很多研究團(tuán)隊(duì)都在不斷改進(jìn)和構(gòu)建基礎(chǔ)模塊。但大多數(shù)研究使用的數(shù)據(jù)集都很小，如 Cora 和 TU。在這種情況下，即使是非圖神經(jīng)網(wǎng)絡(luò)的性能也是可觀的。如果進(jìn)行進(jìn)一步的比較，使用中等大小的數(shù)據(jù)集，圖神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)才能顯現(xiàn)出來。

在斯坦福圖神經(jīng)網(wǎng)絡(luò)大牛 Jure 等人發(fā)布《Open Graph Benchmark》之后，又一個(gè)旨在構(gòu)建「圖神經(jīng)網(wǎng)絡(luò)的 ImageNet」的研究出現(xiàn)了。近日，來自南洋理工大學(xué)、洛約拉馬利蒙特大學(xué)、蒙特利爾大學(xué)和 MILA 等機(jī)構(gòu)的論文被提交到了論文預(yù)印版平臺(tái)上，而且這一新的研究有深度學(xué)習(xí)先驅(qū) Yoshua Bengio 的參與，也得到了 Yann LeCun 的關(guān)注。

論文鏈接：https://arxiv.org/abs/2003.00982

在該研究中，作者一次引入了六個(gè)中等大小的基準(zhǔn)數(shù)據(jù)集（12k-70k 圖，8-500 節(jié)點(diǎn)），并對(duì)一些有代表性的圖神經(jīng)網(wǎng)絡(luò)進(jìn)行了測(cè)試。除了只用節(jié)點(diǎn)特征的基準(zhǔn)線模型之外，圖神經(jīng)網(wǎng)絡(luò)分成帶或不帶對(duì)邊對(duì)注意力兩大類。GNN 研究社區(qū)一直在尋求一個(gè)共同的基準(zhǔn)以對(duì)新模型的能力進(jìn)行評(píng)測(cè)，這一工具或許可以讓我們實(shí)現(xiàn)目標(biāo)。

現(xiàn)在，如果你想測(cè)試一下自己的圖神經(jīng)網(wǎng)絡(luò)模型，可以使用它的開源項(xiàng)目進(jìn)行測(cè)試了。

項(xiàng)目地址：https://github.com/graphdeeplearning/benchmarking-gnns

不同任務(wù)上的測(cè)試腳本，每一個(gè) Notebook 都會(huì)手把手教你如何測(cè)試不同的圖神經(jīng)網(wǎng)絡(luò)。

該開放基準(zhǔn)架構(gòu)基于 DGL 庫，DGL 由 AWS 上海 AI 研究院、紐約大學(xué)、上海紐約大學(xué)開放和維護(hù)，是業(yè)界領(lǐng)先的圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練平臺(tái)，并無縫支持主流深度網(wǎng)絡(luò)平臺(tái)。Benchmarking gnn 建立在 DGL 的 PyTorch 版本之上。

AWS 上海 AI 研究院首任院長、上海紐約大學(xué)張崢教授評(píng)論說：「這篇論文來得很及時(shí)，也有意義。第一，說明現(xiàn)有的數(shù)據(jù)集太小、以致成為前進(jìn)的障礙，已經(jīng)成為學(xué)界的共識(shí)。值得贊揚(yáng)的是這篇文章的作者并沒有因?yàn)?OGB 的發(fā)布就擱下不弄了。在我看來，他們的數(shù)據(jù)集和 OGB 有很強(qiáng)的互補(bǔ)性，呈現(xiàn)了圖神經(jīng)網(wǎng)絡(luò)更豐富的應(yīng)用場景，比如把圖像數(shù)據(jù)轉(zhuǎn)換成圖數(shù)據(jù)，雖然是從 MNIST 和 CIFAR 開始，也隱含了顛覆或改變基于卷積網(wǎng)絡(luò) CNN 的解決方案，再比如旅行推銷員問題是一個(gè)經(jīng)典的優(yōu)化問題，等等?！?/p>

「另外，基于這一系列的數(shù)據(jù)得到的結(jié)論有比較高的可信度，比如數(shù)據(jù)多起來圖神經(jīng)網(wǎng)絡(luò)更能發(fā)揮優(yōu)勢(shì)，比如帶注意力的圖神經(jīng)網(wǎng)絡(luò)雖然參數(shù)更多，但性能也更好?？傊?，這些結(jié)果對(duì)激勵(lì)更多的模型研究和拓展應(yīng)用場景非常有意義?！箯埥淌谡f

圖神經(jīng)網(wǎng)絡(luò)已成為分析和學(xué)習(xí)圖形數(shù)據(jù)的標(biāo)準(zhǔn)工具，并已成功地應(yīng)用在很多領(lǐng)域中，包括化學(xué)、物理、社會(huì)科學(xué)、知識(shí)圖譜、推薦系統(tǒng)以及神經(jīng)科學(xué)等。隨著各領(lǐng)域的發(fā)展，確定架構(gòu)類型以及關(guān)鍵的機(jī)制顯得尤為重要，這些架構(gòu)與機(jī)制可以在跨圖形大小的情況下進(jìn)行泛化，使得我們能夠處理更多更大更復(fù)雜的數(shù)據(jù)集以及領(lǐng)域。

但是，在缺乏具有一致性的實(shí)驗(yàn)設(shè)置和大量數(shù)據(jù)集沒有標(biāo)準(zhǔn)化基準(zhǔn)的情況下，衡量新的 GNN 有效性以及對(duì)比模型變得越來越困難。在本論文中，作者提出了一個(gè)可復(fù)制化的 GNN 基準(zhǔn)測(cè)試框架，可以讓研究人員方便地添加新的數(shù)據(jù)集以及模型。從數(shù)學(xué)建模、計(jì)算機(jī)視覺、化學(xué)和組合問題等多方面將這一基準(zhǔn)框架應(yīng)用至最新的中尺度圖形數(shù)據(jù)集里，以便于在設(shè)計(jì)有效的 GNN 時(shí)建立起關(guān)鍵的操作。更準(zhǔn)確的來說，圖卷積、各項(xiàng)異性擴(kuò)散、殘差連接、歸一化層是開發(fā)魯棒性以及可擴(kuò)展性 GNN 的通用構(gòu)件。

基準(zhǔn)測(cè)試的數(shù)據(jù)集和構(gòu)建圖的方法

這項(xiàng)工作的目標(biāo)之一是提供一個(gè)易于使用的中等規(guī)模數(shù)據(jù)集，在這些數(shù)據(jù)集上，面向過去幾年中所提出的不同 GNN 架構(gòu)在性能表現(xiàn)上有明顯的差異。同時(shí)，這些差異從統(tǒng)計(jì)的角度上來說是具有相當(dāng)?shù)囊饬x，該基準(zhǔn)包含 6 個(gè)數(shù)據(jù)集，如表 1：

提議基準(zhǔn)數(shù)據(jù)集的匯總統(tǒng)計(jì)信息。

對(duì)于這兩個(gè)計(jì)算機(jī)視覺數(shù)據(jù)集，來自經(jīng)典的 MNIST (LeCun et al., 1998) 以及 CIFAR10 (Krizhevsky et al., 2009) 數(shù)據(jù)集中的每個(gè)圖像都使用了所謂的超像素轉(zhuǎn)換成圖。

而接下來的任務(wù)是將這些圖形分類。在 PATTERN 和 CLUSTER 數(shù)據(jù)集中，圖形是根據(jù)隨機(jī)塊模型生成的。這些任務(wù)包括識(shí)別特定的子圖結(jié)構(gòu) (PATTERN 數(shù)據(jù)集) 或者識(shí)別集群 ( CLUSTER 數(shù)據(jù)集)。這些都屬于是節(jié)點(diǎn)分類任務(wù)。

Tsp 數(shù)據(jù)集是基于銷售人員旅行的問題 (假設(shè)給定一個(gè)城市列表，訪問每個(gè)城市并返回原始城市的最短路徑是什么?)

將隨機(jī)歐氏圖上的 TSP 問題作為一個(gè)邊界分類或是連接預(yù)測(cè)的任務(wù)看待，其中 Concorde Solver 給出的 TSP 旅行中每一邊界的真實(shí)情況值都屬于是在現(xiàn)實(shí)世界中已存在的分子數(shù)據(jù)集。每個(gè)分子可被轉(zhuǎn)換成一個(gè)圖形: 其中每個(gè)原子可成為一個(gè)節(jié)點(diǎn)，每個(gè)鍵可成為一個(gè)邊。

基準(zhǔn)測(cè)試設(shè)置

GatedGCN-門控圖卷積網(wǎng)絡(luò) (Bresson & Laurent，2017) 是考慮中的最后一個(gè) GNN。如果在數(shù)據(jù)集中可用的情況下，其中 GatedGCN-e 表示使用邊緣屬性/特征的版本。另外，作者也實(shí)現(xiàn)了一個(gè)簡單的不使用圖結(jié)構(gòu)的基線模型，它處于并行情況下對(duì)每個(gè)節(jié)點(diǎn)的特征向量使用一個(gè) MLP，且獨(dú)立于其他節(jié)點(diǎn)。

這是后續(xù)可選的一個(gè)門控機(jī)制，用以以獲得門控 MLP 基線 (詳情見補(bǔ)充材料)。作者對(duì) MNIST，CIFAR10，ZINC 以及 TSP 在 Nvidia 1080Ti GPU 上進(jìn)行實(shí)驗(yàn)，對(duì) PATTERN 和 CLUSTER 在 Nvidia 2080Ti GPU 上進(jìn)行實(shí)驗(yàn)。

圖分類和超像素?cái)?shù)據(jù)集

這一部分使用了計(jì)算機(jī)視覺領(lǐng)域里最流行的 MNIST 和 CIFAR10 圖像分類數(shù)據(jù)集。超分辨率格式為 SLIC（Knyazev et al., 2019）。MNIST 擁有 55000 訓(xùn)練/5000 驗(yàn)證/10000 測(cè)試圖，節(jié)點(diǎn)為 40-75 之間（即超像素的數(shù)量），CI-FAR10 有 45000 訓(xùn)練/5000 驗(yàn)證/10000 測(cè)試圖，節(jié)點(diǎn)數(shù)為 85-150。

圖 1. 示例圖和超像素圖。SLIC 的超像素圖（其中 MNIST 最多 75 節(jié)點(diǎn)，CIFAR10 最多 150 節(jié)點(diǎn)）是歐幾里得空間中的 8 個(gè)最近鄰圖形，節(jié)點(diǎn)顏色表示平均像素強(qiáng)度。

表 3. 不同方法在基于 MNIST 和 CI-FAR10 的標(biāo)準(zhǔn)測(cè)試集上的測(cè)試結(jié)果（數(shù)值越高越好）。該結(jié)果是使用 4 個(gè)不同種子運(yùn)行四次結(jié)果的平均值。紅色為最佳水平，紫色為高水平。粗體則表示殘差鏈接和非殘差連接之間的最佳模型（如兩個(gè)模型水平相同則皆為粗體顯示）。

圖回歸和分子數(shù)據(jù)集

ZINC 分子數(shù)據(jù)集被用于對(duì)受限溶解度分子特性進(jìn)行回歸分析。在這里 ZINC 有 10000 訓(xùn)練/1000 驗(yàn)證/1000 測(cè)試圖，節(jié)點(diǎn)數(shù)/原子數(shù)為 9-37。對(duì)于每個(gè)分子圖，節(jié)點(diǎn)特征是原子的類型，邊緣特征是邊緣的類型。

在 SBM 數(shù)據(jù)集上進(jìn)行節(jié)點(diǎn)分類

研究者考慮了節(jié)點(diǎn)級(jí)別的圖模式識(shí)別任務(wù)和半監(jiān)督圖聚類任務(wù)。圖模式識(shí)別時(shí)為了找到一個(gè)固定的圖模式 P，嵌入于更大的圖 G 中。

而半監(jiān)督聚類任務(wù)則是網(wǎng)絡(luò)科學(xué)中的另一個(gè)重要任務(wù)。研究者針對(duì)以上兩個(gè)任務(wù)分別生成了相應(yīng)的數(shù)據(jù)集。

表 5：在標(biāo)準(zhǔn)測(cè)試集 PATTERN 和 CLUSTER SBM 圖上的性能表現(xiàn)。

TSP 數(shù)據(jù)集上的邊分類

TSP（Travelling Salesman Problem）指的是旅行推銷員問題：給定一個(gè) 2D 的歐幾里得圖，算法需要找到一個(gè)最優(yōu)的序列節(jié)點(diǎn)，名為 Tour。它應(yīng)當(dāng)有著最少的邊權(quán)重。TSP 的大規(guī)模特性使得它成為一個(gè)具有挑戰(zhàn)性的圖任務(wù)，需要對(duì)局部節(jié)點(diǎn)的近鄰和全局圖結(jié)構(gòu)進(jìn)行推理。

更重要的是，組合優(yōu)化問題也是 GNN 中有研究意義的一個(gè)應(yīng)用場景。研究這類問題，不僅僅在現(xiàn)實(shí)中有著廣泛的應(yīng)用，還對(duì)于理解圖模型的優(yōu)化和學(xué)習(xí)過程，圖網(wǎng)絡(luò)本身的局限性等有重要意義。

在基準(zhǔn)測(cè)試中，研究者采用了基于學(xué)習(xí)的方法，建立了一 GNN 作為骨架網(wǎng)絡(luò)，來給每個(gè)邊和是否所屬預(yù)測(cè)結(jié)果集進(jìn)行概率預(yù)測(cè)。這一概率經(jīng)由圖搜索技術(shù)被轉(zhuǎn)換為離散決策。研究者分別創(chuàng)建了 10000 個(gè)訓(xùn)練實(shí)例和 1000 個(gè)驗(yàn)證、1000 個(gè)測(cè)試實(shí)例。

圖 2：TSP 數(shù)據(jù)集的樣本圖。節(jié)點(diǎn)以藍(lán)色表示，紅色表示 groundtruth 的邊。

表 6：TSP 測(cè)試集的圖性能表現(xiàn)，分為有/無殘差連接良好總情況。紅色表示最好的模型性能，紫色表示模型效果不錯(cuò)。

表 7：在 TSP 測(cè)試集圖上的性能表現(xiàn)。模型是深度 GNN，有 32 層。模型分為使用殘差連接和沒有殘差連接兩種情況。L 表示層數(shù)，B 表示最好的結(jié)果（有殘差連接和無殘差連接的情況）。

表 8：ZINC、CIFAR10 和 CLUSTER 測(cè)試集圖在有或者沒有 BN、GN 的情況下的性能表現(xiàn)。