ACM SIGKDD（簡稱 KDD）始于 1989 年，是全球數(shù)據(jù)挖掘領(lǐng)域歷史最悠久、規(guī)模最大的國際頂級學(xué)術(shù)會議。KDD 2025 將于 2025 年 8 月 3 日在加拿大多倫多舉辦。

近日，阿里安全交互內(nèi)容安全團(tuán)隊(duì)與浙江大學(xué)軟件學(xué)院周晟老師團(tuán)隊(duì)針對多標(biāo)簽分類場景的圖神經(jīng)網(wǎng)絡(luò)增強(qiáng)技術(shù)的聯(lián)合研究成果《Correlation-Aware Graph Convolutional Networks for Multi-Label Node Classification》被 KDD 2025 收錄。這也是 NeurIPS 2024 之后，雙方合作的第二篇頂會成果。

論文地址：https://arxiv.org/pdf/2411.17350

圖神經(jīng)網(wǎng)絡(luò)（GNNs）已經(jīng)在圖數(shù)據(jù)挖掘的節(jié)點(diǎn)分類、鏈接預(yù)測的任務(wù)中都取得了巨大成功。對于節(jié)點(diǎn)分類任務(wù)，傳統(tǒng)圖神經(jīng)網(wǎng)絡(luò)主要關(guān)注各節(jié)點(diǎn)數(shù)據(jù)單標(biāo)簽類別的場景。而在現(xiàn)實(shí)世界中，許多節(jié)點(diǎn)屬于多個(gè)類別，而不是單一類別，如社交網(wǎng)絡(luò)中的用戶多興趣，風(fēng)險(xiǎn)用戶往往關(guān)聯(lián)了多個(gè)風(fēng)險(xiǎn)域，使得 GNNs 在處理多標(biāo)簽場景時(shí)可能會面臨新的問題。

在這項(xiàng)工作中，我們分析了多標(biāo)簽分類場景對于 GNN 本身消息傳遞機(jī)制帶來的潛在問題，將其歸納為節(jié)點(diǎn)特征和拓?fù)浣Y(jié)構(gòu)的模糊性，進(jìn)而提出了 CorGCN 進(jìn)行解決。

具體來講，CorGCN 首先學(xué)習(xí)與多標(biāo)簽相關(guān)的節(jié)點(diǎn)特征并將它們分解為多個(gè)標(biāo)簽感知特征；基于此，進(jìn)一步分解出多個(gè)標(biāo)簽感知圖進(jìn)行圖增強(qiáng)；最終在標(biāo)簽感知圖上進(jìn)行關(guān)聯(lián)增強(qiáng)的圖卷積。

1. 研究背景

本研究重點(diǎn)關(guān)注于如何增強(qiáng)圖神經(jīng)網(wǎng)絡(luò)在多標(biāo)簽節(jié)點(diǎn)分類的能力。在現(xiàn)實(shí)世界中，圖上的節(jié)點(diǎn)更多情況下屬于多個(gè)類別，而不是單一類別，使得 GNNs 在處理多標(biāo)簽場景時(shí)可能會面臨著特征和拓?fù)浣Y(jié)構(gòu)的模糊性問題，這降低了圖數(shù)據(jù)中信息傳遞的準(zhǔn)確度，并影響了圖數(shù)據(jù)中的標(biāo)簽相關(guān)性建模。

我們首先將多標(biāo)簽節(jié)點(diǎn)分類場景的特點(diǎn)歸納如下，圖 1 給出示意和 PCG 數(shù)據(jù)集 [1] 上的分析實(shí)驗(yàn)。

圖 1：（a）多標(biāo)簽節(jié)點(diǎn)分類區(qū)別示例；(b)-(c) PCG 數(shù)據(jù)集上的模糊特征和模糊拓?fù)洹?/span>

（1）模糊特征（Ambiguous Feature）：在單標(biāo)簽設(shè)置中，節(jié)點(diǎn)可以通過轉(zhuǎn)換特征從鄰域節(jié)點(diǎn)中聚合特定類型的標(biāo)簽?zāi)Ｊ?。然而，在多?biāo)簽設(shè)置中，與非圖數(shù)據(jù)上的數(shù)據(jù)特征存在模糊問題類似，一個(gè)節(jié)點(diǎn)的特征可能與多個(gè)標(biāo)簽相關(guān)，特征所代表的模式是模糊的。因此，從這些模糊特征中聚合信息將影響節(jié)點(diǎn)表示的區(qū)分能力。圖 1-(b) 展示了在現(xiàn)實(shí)世界的圖中，分配相似特征的節(jié)點(diǎn)可能共享不同的標(biāo)簽數(shù)量。

（2）模糊拓?fù)洌ˋmbiguous Topology）：在單標(biāo)簽設(shè)置中，連接的節(jié)點(diǎn)通常共享相同的單一標(biāo)簽（也稱為同配性假設(shè) [2]），因此沿邊傳播的模式通常是確定性的。然而，在多標(biāo)簽設(shè)置中，連接的節(jié)點(diǎn)都有多個(gè)標(biāo)簽，沿邊傳播的模式通常是模糊的。這種模糊性使得我們難以確定應(yīng)該從哪些連接的節(jié)點(diǎn)中聚合特定標(biāo)簽的信息。直接從所有鄰居那里聚合信息將進(jìn)一步累積模糊性，損害 GNN 學(xué)習(xí)到的表示的區(qū)分能力，最終影響特定標(biāo)簽的推斷。圖 1-(c) 展示了在現(xiàn)實(shí)世界的圖中，連接的節(jié)點(diǎn)可能共享不同的標(biāo)簽數(shù)量。

因而，在模糊特征和模糊拓?fù)涞那闆r下進(jìn)行圖神經(jīng)網(wǎng)絡(luò)的消息聚合也會具有以下問題需要解決：

• 標(biāo)簽獨(dú)特性（Label Distinctiveness）：如前所述，多標(biāo)簽圖中的節(jié)點(diǎn)屬性和邊可能同時(shí)受到多個(gè)標(biāo)簽的影響。直接從這樣的圖中提取信息，混合節(jié)點(diǎn)標(biāo)簽可能導(dǎo)致標(biāo)簽獨(dú)特性的喪失，導(dǎo)致對每個(gè)標(biāo)簽的探索不足。
• 標(biāo)簽相關(guān)性（Label Correlation）：在多標(biāo)簽設(shè)置中，節(jié)點(diǎn)與多個(gè)標(biāo)簽的關(guān)聯(lián)意味著這些標(biāo)簽之間存在相關(guān)性?，F(xiàn)有多標(biāo)簽學(xué)習(xí)方法的成功也證明了充分利用這些標(biāo)簽間相關(guān)性可以顯著提高表示的質(zhì)量。

基于此分析，本文提出了基于標(biāo)簽關(guān)聯(lián)感知圖神經(jīng)網(wǎng)絡(luò)，從而為 GNN 更好地適配于多標(biāo)簽節(jié)點(diǎn)分類場景提供思路。

2. 研究方法

本研究論文提出了一種名為 Correlation-Aware Graph Convolutional Network（CorGCN）的方法，整體思路如圖 2 所示，包括：

• 關(guān)聯(lián)感知圖分解（Correlation-Aware Graph Decomposition）：首先學(xué)習(xí)與標(biāo)簽相關(guān)的節(jié)點(diǎn)特征，并將它們分解為多個(gè)標(biāo)簽感知特征。然后，基于分解后的特征，進(jìn)一步分解出多個(gè)標(biāo)簽感知圖進(jìn)行圖增強(qiáng)。
• 關(guān)聯(lián)增強(qiáng)圖卷積（Correlation-Enhanced Graph Convolution）：每一層包括在每個(gè)標(biāo)簽感知圖視圖中的鄰域內(nèi)標(biāo)簽消息傳遞以及標(biāo)簽感知消息之間的標(biāo)簽間相關(guān)性傳播。

圖 2：CorGCN 的整體架構(gòu)示意。

2.1 關(guān)聯(lián)感知圖分解（Correlation-Aware Graph Decomposition）

由于在多標(biāo)簽場景中，圖的節(jié)點(diǎn)特征和拓?fù)浣Y(jié)構(gòu)存在不明確性，我們的目標(biāo)是將它們分解成多個(gè)圖。然而，直接進(jìn)行分解會導(dǎo)致關(guān)鍵的多標(biāo)簽相關(guān)性屬性的丟失。因此，我們需要基于已經(jīng)包含了標(biāo)簽相關(guān)性的表示來進(jìn)行分解，因此本階段存在兩個(gè)遞進(jìn)的步驟：節(jié)點(diǎn)特征分解和拓?fù)浣Y(jié)構(gòu)分解。

節(jié)點(diǎn)特征分解（Feature Decomposition）：該模塊首先建模節(jié)點(diǎn)-標(biāo)簽和標(biāo)簽-標(biāo)簽之間的相關(guān)性，然后基于此進(jìn)行節(jié)點(diǎn)特征在不同標(biāo)簽空間的分解。

具體而言，首先對于 K 個(gè)標(biāo)簽分別初始化一個(gè)可學(xué)習(xí)標(biāo)簽表征 E^l，而 n 個(gè)節(jié)點(diǎn)的原始特征定義為 E^x。

這兩類表征會利用對比學(xué)習(xí)和最終的分類損失進(jìn)行相關(guān)性學(xué)習(xí)。隨后我們通過相似度投影得到相關(guān)性建模后分解到 K 個(gè)標(biāo)簽空間的節(jié)點(diǎn)表征，每個(gè)節(jié)點(diǎn)的分解后表征為 E_i^proj。

拓?fù)浣Y(jié)構(gòu)分解（Structure Decomposition）：基于關(guān)聯(lián)感知分解的節(jié)點(diǎn)表征，該模塊旨在為每個(gè)標(biāo)簽及其相關(guān)標(biāo)簽分解圖結(jié)構(gòu)（消息傳遞路徑），以增強(qiáng)消息傳播的圖結(jié)構(gòu)。

具體而言，利用原始圖結(jié)構(gòu) A^0 在每個(gè)標(biāo)簽 k 的表征空間中進(jìn)行中心節(jié)點(diǎn)與鄰域信息的融合：

隨后，基于融合后的標(biāo)簽 k 角度的表征，利用 top-k 相似度構(gòu)造標(biāo)簽 k 的傳播圖 G^k，如下所示：

此外，結(jié)合相關(guān)標(biāo)簽感知的節(jié)點(diǎn)特征和原始圖拓?fù)?，可以獲得多標(biāo)簽感知圖 G_0 = (A_0, E_x) 以通過消息傳遞捕獲相關(guān)結(jié)構(gòu)模式，從而最終可以得到如下的感知相關(guān)性的分解圖 CDG：

2.2 關(guān)聯(lián)增強(qiáng)圖卷積（Correlation-Enhanced Graph Convolution）

先前對于多標(biāo)簽節(jié)點(diǎn)分類的研究主要進(jìn)行了統(tǒng)一的鄰域消息傳遞。我們認(rèn)為這種方法有兩個(gè)主要的局限性：（1）以統(tǒng)一的方式傳遞來自鄰域的模糊消息；（2）相關(guān)性忽視，即在傳遞消息時(shí)忽略了標(biāo)簽之間的相關(guān)性。因此，我們進(jìn)一步為??????（Correlation-Enhanced Graph Convolution，相關(guān)性增強(qiáng)圖卷積）配備了相關(guān)性增強(qiáng)的圖卷積。

標(biāo)簽內(nèi)消息傳遞（Intra-Label Message Passing）：在每個(gè)標(biāo)簽視圖的圖中進(jìn)行標(biāo)簽內(nèi)消息傳遞。

標(biāo)簽間相關(guān)性傳播（Inter-Label Correlation Propagation）：在標(biāo)簽內(nèi)消息傳遞之后，CorGCN 模型通過標(biāo)簽間相關(guān)性傳播來模擬不同標(biāo)簽視圖之間的相關(guān)性。

最終，基于標(biāo)簽內(nèi)和標(biāo)簽間消息傳播后得到的表征，模型進(jìn)行最終的分類預(yù)測：

模型的訓(xùn)練目標(biāo)與多標(biāo)簽分類模型一致采用交叉熵?fù)p失函數(shù)。

2.3 擴(kuò)展到龐大標(biāo)簽空間（Extension to Large Label Space）

在一些現(xiàn)實(shí)世界的圖結(jié)構(gòu)中，節(jié)點(diǎn)可能存在于一個(gè)非常大的多標(biāo)簽空間中，例如復(fù)雜的現(xiàn)實(shí)世界社交網(wǎng)絡(luò)和大型蛋白質(zhì)相互作用網(wǎng)絡(luò)。對于具有非常大標(biāo)簽空間的實(shí)際圖結(jié)構(gòu)，CorGCN 可以擴(kuò)展到多標(biāo)簽節(jié)點(diǎn)分類，以實(shí)現(xiàn)高效學(xué)習(xí)。

具體而言，我們可以通過 K-means 聚類將預(yù)訓(xùn)練的標(biāo)簽表示凝練形成宏觀標(biāo)簽表示，以減少標(biāo)簽表示的數(shù)量和圖分解視圖的數(shù)量，提高計(jì)算效率。

3. 實(shí)驗(yàn)評估

本文在 Humloc [1]、PCG [1]、Blogcatalog [3]、PPI [4] 和 Delve [5] 這五個(gè)數(shù)據(jù)集上進(jìn)行了廣泛的對比和探索性實(shí)驗(yàn)，驗(yàn)證了所提出的 CorGCN 的有效性。

對比實(shí)驗(yàn)

本研究的部分對比實(shí)驗(yàn)如表 1 所示，CorGCN 與 9 個(gè)代表性的基線模型（包含代表性 GNN 模型、圖結(jié)構(gòu)學(xué)習(xí)模型和多標(biāo)簽節(jié)點(diǎn)分類模型）的對比結(jié)果驗(yàn)證了 CorGCN 的有效性。

表 1：部分對比實(shí)驗(yàn)結(jié)果。

泛化性實(shí)驗(yàn)

如圖 3 所示，通過泛化性實(shí)驗(yàn)分析可以發(fā)現(xiàn)模型能為多個(gè)代表 GNN 架構(gòu)帶來表現(xiàn)提升，進(jìn)一步驗(yàn)證了 CorGCN 的廣泛適用性。

圖 3：GNN 架構(gòu)泛化性實(shí)驗(yàn)。

4. 業(yè)務(wù)潛力

多標(biāo)簽節(jié)點(diǎn)分類在阿里風(fēng)控場景具有重要意義。如在龐大的用戶（節(jié)點(diǎn)）網(wǎng)絡(luò)中，異常/風(fēng)險(xiǎn)用戶往往可能具有多個(gè)風(fēng)險(xiǎn)域的風(fēng)險(xiǎn)信號，這些風(fēng)險(xiǎn)域往往不是相互獨(dú)立的，業(yè)務(wù)之間具有關(guān)聯(lián)性。挖掘多個(gè)風(fēng)險(xiǎn)域之間的相關(guān)性對于整體業(yè)務(wù)表現(xiàn)具有重要意義，這將作為未來的進(jìn)一步研究。

5. 總結(jié)

在這篇論文中，我們針對當(dāng)前圖神經(jīng)網(wǎng)絡(luò)在進(jìn)行多標(biāo)簽分類時(shí)面臨的潛在問題進(jìn)行了重點(diǎn)分析，提出了一種數(shù)據(jù)側(cè)的圖分解增強(qiáng)方式和模型側(cè)的消息傳播增強(qiáng)，以提高現(xiàn)有圖神經(jīng)網(wǎng)絡(luò)在多標(biāo)簽分類場景的能力。在實(shí)驗(yàn)測試中，我們驗(yàn)證了所提出模型的有效性。詳細(xì)內(nèi)容可查看原文。