本文轉(zhuǎn)載自公眾號“讀芯術(shù)”(ID：AI_Discovery)

為什么我對深度學(xué)習(xí)的關(guān)注重點(diǎn)轉(zhuǎn)向圖神經(jīng)網(wǎng)絡(luò)?”是因?yàn)閿?shù)據(jù)結(jié)構(gòu)還是高效計(jì)算?一切都從圖的結(jié)構(gòu)以及它們?nèi)绾谓鉀Q關(guān)系問題和支持分布式計(jì)算開始。

當(dāng)將相同的結(jié)構(gòu)應(yīng)用于最先進(jìn)的機(jī)器學(xué)習(xí)算法時(shí)，進(jìn)化才真正發(fā)生。從簡單的矩陣分解和線性回歸算法到圖形神經(jīng)網(wǎng)絡(luò)(GNN)的實(shí)現(xiàn)，我們都可以觀察到技術(shù)的發(fā)展。

本文將詳細(xì)介紹圖、圖的優(yōu)勢以及圖在機(jī)器學(xué)習(xí)框架中的實(shí)現(xiàn)方式。筆者還將討論圖的兼容性和隨著時(shí)間如何進(jìn)化。

圖

圖是能夠共同定義信息的關(guān)系型數(shù)據(jù)結(jié)構(gòu)。它是非線性節(jié)點(diǎn)和鏈接的匯編。LinkedIn和Facebook社交網(wǎng)絡(luò)、Netflix電影結(jié)構(gòu)、谷歌地圖和路徑優(yōu)化之類的真實(shí)信息只能由圖形表示。讓我們以家譜為例：

每個(gè)家族成員都是家族樹圖(G)中的一個(gè)頂點(diǎn)(V)，其關(guān)系由邊(E)定義。如果要提取有關(guān)特定家庭成員的信息，則還必須知道他/她的關(guān)系，否則數(shù)據(jù)似乎不完整。每個(gè)節(jié)點(diǎn)和鏈接都有各自的意義和數(shù)據(jù)。同樣，可以用許多不同的方式來表示相同的圖，也可以使用不同的鏈接值自下而上繪制祖先圖。

計(jì)算圖

計(jì)算圖是具有方程式數(shù)據(jù)的圖。它們是表示數(shù)學(xué)表達(dá)式的有向圖的一種形式。一個(gè)非常常見的示例是后綴、中綴和前綴計(jì)算。圖中的每個(gè)節(jié)點(diǎn)都可以包含運(yùn)算，變量或方程式本身。這些圖出現(xiàn)在計(jì)算機(jī)中進(jìn)行的大多數(shù)計(jì)算中。

圖的優(yōu)點(diǎn)

圖提供了代表許多現(xiàn)實(shí)問題的獨(dú)特結(jié)構(gòu)。與典型的表或矩陣不同，該順序的優(yōu)先級并不高。每個(gè)元素都相互依賴以形成關(guān)系。這種關(guān)系是所有假設(shè)和基于此的預(yù)測的核心。它的優(yōu)點(diǎn)是：

• 節(jié)點(diǎn)鏈接結(jié)構(gòu)-圖的獨(dú)特的節(jié)點(diǎn)鏈接結(jié)構(gòu)可以存儲很多信息。基于網(wǎng)絡(luò)和關(guān)系的問題只能以這種格式表示。盡管存在矩陣、樹形圖之類的其他結(jié)構(gòu)來表示圖，但主要構(gòu)成要優(yōu)先。
• 分布式計(jì)算-單個(gè)核心或系統(tǒng)無法處理數(shù)十億個(gè)節(jié)點(diǎn)/元素的巨大問題。分布式計(jì)算可以直接在圖中實(shí)現(xiàn)的事實(shí)，節(jié)省了大量計(jì)算，并降低了時(shí)間復(fù)雜度。
• 關(guān)系問題-通常使用包含獨(dú)立輸入值及其各自輸出標(biāo)簽的數(shù)據(jù)集。如果想根據(jù)最近的手表、喜愛的演員、音樂等為自己預(yù)測電影，該怎么辦?

這是一個(gè)只能通過圖形解決的關(guān)系問題。即使通過無監(jiān)督學(xué)習(xí)進(jìn)行嘗試，也可以預(yù)測集群，但不能預(yù)測確切的標(biāo)簽或聯(lián)系。我們將嘗試并簡要了解Netflix電影預(yù)測中的一個(gè)這樣的問題：

想象類型、演員、語言、發(fā)行日期作為圖的主要節(jié)點(diǎn)。許多電影根據(jù)其標(biāo)簽鏈接到上述節(jié)點(diǎn)。根據(jù)電影的不同，筆者會存儲首選的屬性節(jié)點(diǎn)。Netflix利用個(gè)性化視頻排名(PVR)算法，根據(jù)所存儲的圖形數(shù)據(jù)按照流派、標(biāo)題來預(yù)測電影。

在每種流派或標(biāo)題中，它都再次應(yīng)用了Top-N Video Ranker算法，該算法混合了流行選擇和個(gè)人選擇來預(yù)測電影。

機(jī)器學(xué)習(xí)中的圖

所有的神經(jīng)網(wǎng)絡(luò)都是計(jì)算圖。不僅這些而且線性回歸等算法也可以以圖的形式表示。傳統(tǒng)圖和神經(jīng)網(wǎng)絡(luò)之間的主要區(qū)別是實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)傾向于模仿計(jì)算圖進(jìn)行訓(xùn)練，但無法處理類似圖的數(shù)據(jù)。他們需要結(jié)構(gòu)化的數(shù)據(jù)才能正常工作。讓我們根據(jù)神經(jīng)網(wǎng)絡(luò)中的正向傳播來理解它。

假設(shè)這是8個(gè)節(jié)點(diǎn)和16個(gè)鏈接的圖形。x1和x2輸入神經(jīng)元(節(jié)點(diǎn))緊密連接到隱藏層節(jié)點(diǎn)。然后將這些節(jié)點(diǎn)類似地連接到輸出層。x1，x2中的值將傳輸?shù)诫[藏層。隱藏層執(zhí)行A=WX+B。連接隱藏層和輸出層的鏈接激活這些值。它們的方程是H = function(A)。在輸出層中也執(zhí)行類似的過程。

總體而言，該圖能夠表示神經(jīng)網(wǎng)絡(luò)中正向傳播的方程。

進(jìn)化

在完成基礎(chǔ)知識之后，我們將繼續(xù)探討圖神經(jīng)網(wǎng)絡(luò)(GNN)的形成原因及其與人工神經(jīng)網(wǎng)絡(luò)(ANN)的不同之處。

如今，機(jī)器學(xué)習(xí)在許多自動化行業(yè)中都存在，并為許多組織和研究提供了最先進(jìn)的結(jié)果。分布式圖的計(jì)算源于高效的并行計(jì)算，穩(wěn)定的圖結(jié)構(gòu)以及許多現(xiàn)實(shí)生活中的應(yīng)用程序的實(shí)現(xiàn)，例如社交網(wǎng)絡(luò)、知識圖等。將這兩種技術(shù)結(jié)合在一起將帶來巨大的收益，并為更好的開發(fā)和效率帶來了新的研究領(lǐng)域。

圖引擎框架

已經(jīng)進(jìn)行了許多嘗試來彌合圖和機(jī)器學(xué)習(xí)算法之間的差距。圖缺乏訓(xùn)練這些算法必不可少的屬性。在將圖計(jì)算和機(jī)器學(xué)習(xí)相結(jié)合時(shí)，缺乏對循環(huán)、異構(gòu)性和數(shù)據(jù)一致性方面的支持，數(shù)據(jù)抽象是關(guān)注的主要主題。

諸如TUX2和GraphLab之類的圖形引擎框架提出了解決某些問題的模型。他們成功地將分布式圖形計(jì)算與矩陣分解、Latent Dirichlet分配算法相結(jié)合，但未能實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)。與能夠使用GPU進(jìn)行計(jì)算的深度學(xué)習(xí)框架不同，這些引擎僅利用分布式計(jì)算。

GNN簡介(ANN與GNN)

神經(jīng)網(wǎng)絡(luò)取代了許多靜態(tài)算法，并引領(lǐng)了當(dāng)前的機(jī)器學(xué)習(xí)行業(yè)。市場需要基于圖的具有直接深度學(xué)習(xí)關(guān)聯(lián)的技術(shù)。由于傳統(tǒng)引擎出現(xiàn)故障和GPU缺少支持，才引入了圖神經(jīng)網(wǎng)絡(luò)。

圖神經(jīng)網(wǎng)絡(luò)是從圖數(shù)據(jù)中學(xué)習(xí)的深度學(xué)習(xí)的新興領(lǐng)域。隨著圖卷積網(wǎng)絡(luò)、LSTM網(wǎng)絡(luò)等的引入，該領(lǐng)域已顯示出巨大的潛力。這些網(wǎng)絡(luò)本身就是圖結(jié)構(gòu)，并利用相似的數(shù)據(jù)進(jìn)行訓(xùn)練。諸如CORA和SNAP之類的圖形數(shù)據(jù)集用于對其進(jìn)行基準(zhǔn)測試。

如果人工神經(jīng)網(wǎng)絡(luò)是計(jì)算圖，那么為什么我們需要GNN?答案有時(shí)可能會令人困惑，但讓我們開始了解基礎(chǔ)知識。

• 人工神經(jīng)網(wǎng)絡(luò)以矩陣格式輸入，或多或少是有序數(shù)據(jù)，而諸如社交網(wǎng)絡(luò)之類的問題則將鏈接優(yōu)先于次序。從技術(shù)上講，在圖形中，可以通過選擇根節(jié)點(diǎn)和通過它的特定鏈接來推導(dǎo)順序。
• 作為計(jì)算圖的人工神經(jīng)網(wǎng)絡(luò)僅僅意味著它們是相互鏈接在一起的前饋數(shù)學(xué)表達(dá)式。網(wǎng)絡(luò)及其使用的數(shù)據(jù)的依存關(guān)系圖是不同的。
• 就層和函數(shù)而言，兩個(gè)網(wǎng)絡(luò)都包含dense、softmax、ReLU等，但是在每個(gè)計(jì)算和處理方面都是不同的。正常的密集層意味著完全的互連，但是在GNN中可能并非如此。
• 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)可以解決兩種類型的問題：分類和回歸。當(dāng)涉及社交網(wǎng)絡(luò)或知識圖時(shí)，它們將失敗。這些屬于需要直接圖形輸入的關(guān)系問題。
• 在人工神經(jīng)網(wǎng)絡(luò)中，定義了模型體系結(jié)構(gòu)，并將其輸入及其各自的輸出饋入模型?；趫D的網(wǎng)絡(luò)的訓(xùn)練和預(yù)測在某種程度上是無監(jiān)督的。因此，如果要預(yù)測特定領(lǐng)英成員的姓名，筆者應(yīng)該能夠使用他的1度、2度人脈、公司、機(jī)構(gòu)的隸屬關(guān)系來進(jìn)行操作，而無需真正知道他的實(shí)際標(biāo)簽。

當(dāng)今的圖神經(jīng)網(wǎng)絡(luò)的發(fā)展是非常直觀的，上述知識我們需要掌握。