近年來(lái)，由于圖結(jié)構(gòu)的強(qiáng)大表現(xiàn)力，用機(jī)器學(xué)習(xí)方法分析圖的研究越來(lái)越受到重視。圖神經(jīng)網(wǎng)絡(luò)（GNN）是一類基于深度學(xué)習(xí)的處理圖域信息的方法。由于其較好的性能和可解釋性，現(xiàn)已被廣泛應(yīng)用到各個(gè)領(lǐng)域。

在本文中，機(jī)器學(xué)習(xí)研究科學(xué)家 Sergei Ivanov 盤點(diǎn)一下 2021 年需要了解的 GNN 應(yīng)用熱點(diǎn)，涵蓋了推薦系統(tǒng)、組合優(yōu)化、計(jì)算機(jī)視覺(jué)、物理 / 化學(xué)以及藥物發(fā)現(xiàn)等領(lǐng)域。

推薦系統(tǒng)

圖結(jié)構(gòu)數(shù)據(jù)是來(lái)自用戶與電子商務(wù)平臺(tái)上產(chǎn)品交互的上下文中，因此，許多公司采用 GNN 進(jìn)行產(chǎn)品推薦。一個(gè)標(biāo)準(zhǔn)的案例是對(duì)用戶于商品的交互關(guān)系進(jìn)行建模，然后以某種形式的負(fù)采樣損失學(xué)習(xí)節(jié)點(diǎn)嵌入，并使用 KNN 索引實(shí)時(shí)檢索給定用戶的相似商品。首批使用這種 pipeline 的公司是 Uber Eats，該公司通過(guò) GraphSage 網(wǎng)絡(luò)推薦食品和餐館。

此外，對(duì)于食品推薦，由于推薦的地理限制，生成的圖相對(duì)較小，但一些公司在數(shù)十億個(gè)邊緣的規(guī)模上成功使用了 GNN。中國(guó)零售業(yè)巨頭阿里巴巴在擁有數(shù)十億用戶和產(chǎn)品的網(wǎng)絡(luò)上使用圖嵌入技術(shù)和 GNN。構(gòu)建這樣的圖可能是工程上的噩夢(mèng)，但是對(duì)于最近的 Aligraph pipeline 而言，僅需五分鐘即可構(gòu)建具有 4 億節(jié)點(diǎn)的圖。Aligraph 支持高效的分布式圖形存儲(chǔ)、優(yōu)化采樣操作符以及大量?jī)?nèi)部 GNN。它目前部署在阿里巴巴的多個(gè)產(chǎn)品中，用于推薦和個(gè)性化搜索。

阿里巴巴、 亞馬遜和許多其他電商公司使用 GNN 來(lái)增強(qiáng)推薦系統(tǒng)的能力。

類似地，Pinterest 提出了 PinSage 模型，該模型使用個(gè)性化 PageRank 有效地對(duì)鄰域進(jìn)行采樣，并通過(guò)在每個(gè)鄰域中聚合來(lái)有效地更新節(jié)點(diǎn)嵌入。他們的后續(xù) PinnerSage 進(jìn)一步擴(kuò)展了該架構(gòu)，用以處理多種嵌入問(wèn)題，以滿足不同的用戶需求。這些只是該領(lǐng)域的幾個(gè)值得注意的例子（你也可以查看 Amazon 關(guān)于知識(shí)圖譜和 GNN 的研究或 Fabula AI 使用 GNN 進(jìn)行虛假新聞檢測(cè)的研究，但很明顯，如果來(lái)自用戶互動(dòng)的信息足夠強(qiáng)大的話，GNN 會(huì)在推薦系統(tǒng)問(wèn)題上得到不錯(cuò)的結(jié)果）。

組合優(yōu)化

組合優(yōu)化（combinatorial optimization, CO）問(wèn)題的求解是金融、物流、能源、生命科學(xué)和硬件設(shè)計(jì)中的關(guān)鍵。這些問(wèn)題大多是用圖表示的。因此，上個(gè)世紀(jì)的大量研究都集中在更有效地解決 CO 問(wèn)題的算法上；然而，機(jī)器學(xué)習(xí)驅(qū)動(dòng)的現(xiàn)代計(jì)算革命為解決此類問(wèn)題的方法提供了一種引人矚目的新方式。

谷歌大腦團(tuán)隊(duì)使用 GNN 優(yōu)化了新硬件（如 Google 的 TPU）芯片塊的功耗、面積和性能。計(jì)算機(jī)芯片可以理解為由內(nèi)存和邏輯部件組成的圖，每個(gè)圖均由其部件的坐標(biāo)和類型表示。確定每個(gè)組件的位置，同時(shí)遵守密度和布線擁塞的限制，這是一個(gè)費(fèi)力的過(guò)程，但仍然是電氣工程師的工作重點(diǎn)。谷歌大腦團(tuán)隊(duì)利用 GNN 模型與策略和收益強(qiáng)化學(xué)習(xí)（RL）功能相結(jié)合，生成優(yōu)化的電路芯片布局，甚至優(yōu)于手工設(shè)計(jì)的硬件布局。

與國(guó)際象棋和圍棋相比，芯片布局的復(fù)雜性。

另一種方法采用不同的途徑，將 ML 模型集成到現(xiàn)有求解器中。例如，Gasse 等人在論文《Exact Combinatorial Optimization with Graph Convolutional Neural Networks》中提出了一種用于學(xué)習(xí)分支定界變量選擇策略的圖網(wǎng)：混合整數(shù)線性規(guī)劃（MILP）求解器中的關(guān)鍵步驟。通過(guò)這種方式，學(xué)習(xí)到的表示試圖最小化求解器的運(yùn)行時(shí)間，并顯示出在推理時(shí)間和決策質(zhì)量之間的良好平衡。

在 DeepMind 和谷歌的最新研究《Solving Mixed Integer Programs Using Neural Networks》中，圖網(wǎng)被用于 MILP 求解器中的兩個(gè)關(guān)鍵子任務(wù)：聯(lián)合變量分配和限制目標(biāo)值。他們提出的神經(jīng)網(wǎng)絡(luò)方法是包括 Google 生產(chǎn)包裝和計(jì)劃系統(tǒng)在內(nèi)的龐大數(shù)據(jù)集上現(xiàn)有求解器速度的 2 至 10 倍。有關(guān)此主題的更多內(nèi)容，請(qǐng)參考《Reinforcement Learning for Combinatorial Optimization: A Survey》等綜述論文。

計(jì)算機(jī)視覺(jué)

由于世界上的一切對(duì)象是密切聯(lián)系的，包含這些對(duì)象的圖像也可以從 GNN 中受益。感知圖像的其中一種方法是通過(guò)場(chǎng)景圖（論文《Scene Graph Generation by Iterative Message Passing》），即出現(xiàn)在圖像中的對(duì)象以及它們之間關(guān)系的集合。場(chǎng)景圖已在圖像檢索、理解和推理、字幕生成、視覺(jué)問(wèn)答以及圖像生成中得到了應(yīng)用，該方法可以極大地提高模型的性能。

在 Facebook 的論文《Specifying Object Attributes and Relations in Interactive Scene Generation》中，研究者可以將 CV 數(shù)據(jù)集 COCO 中的對(duì)象放置在畫布中，并指定對(duì)象的位置和大小以創(chuàng)建場(chǎng)景圖。然后他們使用 GNN 對(duì)圖像進(jìn)行編碼以確定每個(gè)對(duì)象的嵌入，進(jìn)而將其與 CNN 一起使用以生成對(duì)象的 mask、邊框和外觀。最終，用戶可以方便地在圖形中添加新節(jié)點(diǎn)（指定該節(jié)點(diǎn)的相對(duì)位置和大小）以使 GNN/CNN 使用這些對(duì)象生成圖像。

使用場(chǎng)景圖生成圖像。

CV 中圖像的另一個(gè)來(lái)源是兩個(gè)相關(guān)圖像的匹配，這是一個(gè)經(jīng)典問(wèn)題，過(guò)去采用手工描述符實(shí)現(xiàn)。3D 圖形公司 Magic Leap 發(fā)布了一種名為 SuperGlue 的 GNN 體系架構(gòu)，該架構(gòu)可在實(shí)時(shí)視頻中執(zhí)行圖形匹配，用于 3D 重建、位置識(shí)別、本地化和映射（SLAM）等任務(wù)。SuperGlue 包含一個(gè)基于注意力的 GNN，它學(xué)習(xí)圖像關(guān)鍵點(diǎn)的表征，進(jìn)而饋入匹配的最優(yōu)傳輸層。該模型在現(xiàn)代 GPU 上實(shí)時(shí)執(zhí)行匹配，并且可以輕松集成到現(xiàn)代 SLAM 系統(tǒng)中。有關(guān)圖形與計(jì)算機(jī)視覺(jué)相交的更多內(nèi)容，請(qǐng)查看綜述文章《Computing Graph Neural Networks: A Survey from Algorithms to Accelerators 》。

物理 / 化學(xué)

生命科學(xué)得益于將粒子或分子之間的交互表示為一個(gè)圖，然后用 GNN 預(yù)測(cè)這類系統(tǒng)的性質(zhì)。在 Facebook 和 CMU 的開放催化器項(xiàng)目（Open Catalyst Project）項(xiàng)目中，最終目的是找到儲(chǔ)存太陽(yáng)能或風(fēng)能等可再生能源的新方法。其中一個(gè)可能的解決辦法是通過(guò)化學(xué)反應(yīng)將這種能量轉(zhuǎn)化為其他燃料，例如氫。然而，這需要發(fā)現(xiàn)能夠以高速率驅(qū)動(dòng)化學(xué)反應(yīng)的新催化劑，并且諸如 DFT 的已知方法成本高昂。開放催化劑項(xiàng)目開源了一個(gè)最大的催化劑數(shù)據(jù)集以及 DFT 弛豫和 GNN 基準(zhǔn)方法。目的是希望找到新的高效且低成本的催化劑分子。

吸附物（小連接分子）和催化劑表面的初始和松弛狀態(tài)示例。

DeepMind 的研究者還應(yīng)用 GNN 來(lái)模擬水或沙等復(fù)雜粒子系統(tǒng)的動(dòng)力學(xué)過(guò)程。通過(guò)在每一步預(yù)測(cè)每個(gè)粒子的相對(duì)運(yùn)動(dòng)，就有可能合理地重建整個(gè)系統(tǒng)的動(dòng)力學(xué)，并進(jìn)一步了解控制運(yùn)動(dòng)的基本規(guī)律。例如，這種方法被用來(lái)理解玻璃化轉(zhuǎn)化，這是固態(tài)理論中最有趣的尚未解決的問(wèn)題之一。使用 GNN 不僅可以模擬過(guò)渡過(guò)程中的動(dòng)力學(xué)，還可以更好地理解粒子如何根據(jù)距離和時(shí)間相互影響。

此外，位于美國(guó)的物理實(shí)驗(yàn)室費(fèi)米國(guó)立加速器實(shí)驗(yàn)室（Fermilab）致力于將 GNN 遷移到 CERN 的大型強(qiáng)子對(duì)撞機(jī)（LHC）的結(jié)果分析上。其目標(biāo)是處理數(shù)百萬(wàn)張圖像，并選擇那些可能與發(fā)現(xiàn)新粒子有關(guān)的圖像。他們的任務(wù)是在 FPGA 上實(shí)現(xiàn) GNN，并將其與數(shù)據(jù)采集處理器集成，這樣就可以在世界各地遠(yuǎn)程運(yùn)行 GNN。要了解 GNN 在粒子物理中的更多應(yīng)用，請(qǐng)查看 Jonathan Shlomi 等人論文《Graph Neural Networks in Particle Physics》。

藥物發(fā)現(xiàn)

制藥公司每年都會(huì)投入數(shù)十億美元的研發(fā)資金用來(lái)尋找藥物開發(fā)的新模式。在生物學(xué)中，圖可以表示為不同規(guī)模的交互。在分子水平上，圖的邊緣可以是分子中原子之間的鍵或蛋白質(zhì)中氨基酸殘基之間的相互作用。而在更大的范圍內(nèi)，圖可以表示更復(fù)雜的結(jié)構(gòu)（如蛋白質(zhì)、mRNA 或代謝物）之間的相互作用。根據(jù)特定的抽象層次，這些圖可用于目標(biāo)識(shí)別、分子性質(zhì)預(yù)測(cè)、高通量篩選、新型藥物設(shè)計(jì)、蛋白質(zhì)工程和藥物再利用等領(lǐng)域。

基于 GNN 的藥物發(fā)現(xiàn)時(shí)間表。Gaudelet et al., 2020

或許，使用 GNN 進(jìn)行藥物發(fā)現(xiàn)最有希望的是 2020 年 MIT 研究者以及合作者發(fā)表在《細(xì)胞》（Cell）上的文章《A Deep Learning Approach to Antibiotic Discovery》。在這項(xiàng)研究中，他們提出了一種被稱為 Chemprop 的深度 GNN 模型，用來(lái)預(yù)測(cè)分子是否具有抗生素特性：對(duì)大腸桿菌的生長(zhǎng)抑制作用。在僅使用 FDA 批準(zhǔn)的藥物庫(kù)中的大約 2500 個(gè)分子對(duì)其進(jìn)行訓(xùn)練后，Chemprop 被應(yīng)用于更大的數(shù)據(jù)集，包括包含 Halicin 分子的 Drug Repurposed Hub。

值得注意的是，以前僅對(duì) Halicin 分子進(jìn)行過(guò)研究，因?yàn)槠浣Y(jié)構(gòu)與已知抗生素相差很大。然而，實(shí)驗(yàn)室進(jìn)行的體內(nèi)體外臨床試驗(yàn)都證明了 Halicin 是廣譜抗生素。針對(duì)強(qiáng)大 NN 模型的廣泛基準(zhǔn)測(cè)試表明了在 Halicin 發(fā)現(xiàn)中使用 GNN 學(xué)習(xí)特征的重要性。除了這項(xiàng)研究的實(shí)用性之外，Chemprop 架構(gòu)也值得更多的關(guān)注。與其它 GNN 模型不同，Chemprop 有 5 層和 1600 個(gè)隱藏維，在此類任務(wù)上參數(shù)遠(yuǎn)遠(yuǎn)多于典型的 GNN。當(dāng)然，這只是少數(shù)即將在 AI 中發(fā)現(xiàn)的新醫(yī)學(xué)之一。有關(guān)此主題的更多結(jié)果，請(qǐng)查看最近的一篇綜述文章《Utilising Graph Machine Learning within Drug Discovery and Development》和博客文章《What 2021 holds for Graph ML?》。