多年來，浙江大學(xué)周晟老師團(tuán)隊(duì)與阿里安全交互內(nèi)容安全團(tuán)隊(duì)持續(xù)開展產(chǎn)學(xué)研合作。近日，雙?針對標(biāo)簽噪聲下圖神經(jīng)?絡(luò)的聯(lián)合研究成果《NoisyGL：標(biāo)簽噪聲下圖神經(jīng)網(wǎng)絡(luò)的綜合基準(zhǔn)》被 NeurIPS Datasets and Benchmarks Track 2024 收錄。本次 NeurIPS D&B Track 共收到 1820 篇投稿，錄?率為 25.3%。

• 論文標(biāo)題：NoisyGL: A Comprehensive Benchmark for Graph Neural Networks under Label Noise
• 論文地址：https://arxiv.org/pdf/2406.04299
• 項(xiàng)目地址：https://github.com/eaglelab-zju/NoisyGL

圖神經(jīng)網(wǎng)絡(luò)（GNNs）在節(jié)點(diǎn)分類任務(wù)中通過消息傳遞機(jī)制展現(xiàn)了強(qiáng)大的表示力。然而，它們的性能往往依賴于?質(zhì)量的節(jié)點(diǎn)標(biāo)簽。在現(xiàn)實(shí)世界中，由于不可靠的來源或?qū)剐怨?，?jié)點(diǎn)標(biāo)簽中通常存在噪聲。不過，目前針對該領(lǐng)域缺乏?個(gè)綜合的基準(zhǔn)。

為填補(bǔ)這?空白，本文提出了 NoisyGL 方法，這是第?個(gè)針對標(biāo)簽噪聲下圖神經(jīng)?絡(luò)的綜合基準(zhǔn)。NoisyGL 使?統(tǒng)?的實(shí)驗(yàn)設(shè)置和接?，可以在具有不同性質(zhì)的圖數(shù)據(jù)上對不同?法的抗噪性能進(jìn)?公平比較和多?度分析。此外，NoisyGL 也是?個(gè)可擴(kuò)展且易于使?的 GLN 框架，便于后續(xù)的研究者跟進(jìn)。

本?亮點(diǎn)包括如下：

• 提出了 NoisyGL，第?個(gè)針對標(biāo)簽噪聲下的圖神經(jīng)?絡(luò)的綜合基準(zhǔn)庫。
• 通過?量的實(shí)驗(yàn)，針對標(biāo)簽噪聲下的圖神經(jīng)?絡(luò)提出了?些重要的見解。
• 為標(biāo)簽噪聲下的圖神經(jīng)?絡(luò)提供了?點(diǎn)未來的發(fā)展?向。

?、研究背景

許多現(xiàn)實(shí)世界中的復(fù)雜系統(tǒng)可以表示為圖結(jié)構(gòu)數(shù)據(jù)，包括引?網(wǎng)絡(luò)、?物網(wǎng)絡(luò)、交通網(wǎng)絡(luò)和社交網(wǎng)絡(luò)。圖神經(jīng)網(wǎng)絡(luò)（GNNs）通過消息傳遞機(jī)制（Message passing mechanism）聚合鄰域節(jié)點(diǎn)的信息，在建模圖數(shù)據(jù)方?表現(xiàn)出了顯著的優(yōu)勢。在 GNNs 的眾多應(yīng)?中，節(jié)點(diǎn)分類是研究最為深入的任務(wù)之?。通常在節(jié)點(diǎn)分類任務(wù)中，GNNs 以半監(jiān)督的模式進(jìn)?訓(xùn)練。

盡管圖神經(jīng)網(wǎng)絡(luò)取得了成功，但它們在半監(jiān)督圖學(xué)習(xí)任務(wù)中的表現(xiàn)高度依賴于精確的節(jié)點(diǎn)標(biāo)簽，而在現(xiàn)實(shí)世界中，精確的標(biāo)簽很難獲得。例如，對于在線社交?絡(luò)，手動標(biāo)記數(shù)百萬?戶的過程成本?昂，因此?戶的標(biāo)簽通常依賴于?戶??的標(biāo)注，這些標(biāo)注通常是不可靠的。

此外，圖數(shù)據(jù)容易受到對抗性標(biāo)簽翻轉(zhuǎn)攻擊的影響。因此，標(biāo)簽噪聲在圖數(shù)據(jù)中普遍存在。研究表明，標(biāo)簽噪聲會顯著降低機(jī)器學(xué)習(xí)模型在計(jì)算機(jī)視覺和自然語?處理場景中的泛化能力。在 GNNs 中，消息傳遞機(jī)制可能會通過傳播錯誤的監(jiān)督信息，從而進(jìn)?步加劇這種負(fù)?影響。

為了在帶標(biāo)簽噪聲的圖數(shù)據(jù)上實(shí)現(xiàn)穩(wěn)健學(xué)習(xí)，?個(gè)直觀的解決方案是借鑒以往標(biāo)簽噪聲學(xué)習(xí)（LLN）策略的成功經(jīng)驗(yàn)，并將其應(yīng)?于圖神經(jīng)網(wǎng)絡(luò)。然而，由于圖數(shù)據(jù)并不具有獨(dú)立同分布性質(zhì)、節(jié)點(diǎn)標(biāo)簽的稀疏性以及 GNNs 的消息傳遞機(jī)制，這些 LLN 方法并不總是適?于圖學(xué)習(xí)任務(wù)。在這個(gè)背景下，標(biāo)簽噪聲下的圖神經(jīng)?絡(luò)（GNNs under Label Noise, GLN）研究最近受到了關(guān)注。

然而，由于數(shù)據(jù)集選擇、數(shù)據(jù)分割和預(yù)處理技術(shù)的差異，?前 GLN 領(lǐng)域缺乏?個(gè)綜合的基準(zhǔn)，這阻礙了對該領(lǐng)域的深?理解和進(jìn)?步發(fā)展。

?、論文摘要

圖神經(jīng)網(wǎng)絡(luò)（GNNs）通過消息傳遞機(jī)制在節(jié)點(diǎn)分類任務(wù)中表現(xiàn)出強(qiáng)大的潛力。然而，它們的性能往往依賴于?質(zhì)量的節(jié)點(diǎn)標(biāo)簽。在現(xiàn)實(shí)任務(wù)中，由于不可靠的來源或?qū)剐怨?，?zhǔn)確的節(jié)點(diǎn)標(biāo)簽很難獲得。因此，標(biāo)簽噪聲在現(xiàn)實(shí)世界的圖數(shù)據(jù)中很常見。噪聲標(biāo)簽會在訓(xùn)練過程中傳播錯誤信息，從而對 GNNs 產(chǎn)生負(fù)?影響。

為了解決這個(gè)問題，標(biāo)簽噪聲下的圖神經(jīng)網(wǎng)絡(luò)（GNNs under Label Noise, GLN）的研究最近受到了關(guān)注。然而，由于數(shù)據(jù)集選擇、數(shù)據(jù)劃分和預(yù)處理技術(shù)的差異，社區(qū)?前缺乏?個(gè)全面的基準(zhǔn)，這阻礙了對 GLN 的深入理解和進(jìn)?步發(fā)展。為填補(bǔ)這?空?，我們在本?中介紹了 NoisyGL，這是第?個(gè)針對標(biāo)簽噪聲下圖神經(jīng)網(wǎng)絡(luò)的全?基準(zhǔn)。NoisyGL 在各種數(shù)據(jù)集上，通過統(tǒng)?的實(shí)驗(yàn)設(shè)置和接口，實(shí)現(xiàn)了對 GLN 方法的公平比較和詳細(xì)分析。我們的基準(zhǔn)揭示了之前研究中遺漏的幾個(gè)重要?解，相信這些發(fā)現(xiàn)對未來的研究將非常有益。同時(shí)也希望我們的開源基準(zhǔn)庫 NoisyGL 能促進(jìn)該領(lǐng)域的進(jìn)?步發(fā)展。

三、方案解讀

1、問題定義

考慮?個(gè)圖，其中 V 是包含所有 N 個(gè)節(jié)點(diǎn)的集合，是邊的集合。是鄰接矩陣，表示節(jié)點(diǎn)特征矩陣，特征的維度為 d 。每個(gè)節(jié)點(diǎn)都有?個(gè)真實(shí)標(biāo)簽，真實(shí)標(biāo)簽集合表示為。

在這項(xiàng)?作中，我們關(guān)注半監(jiān)督節(jié)點(diǎn)分類問題，其中只有?小部分節(jié)點(diǎn)被分配了?于訓(xùn)練過程的標(biāo)簽，這部分標(biāo)簽表示為，其中是有標(biāo)簽節(jié)點(diǎn)的數(shù)量。其余的則是無標(biāo)簽節(jié)點(diǎn)，表示為。給定 X 和 A ，節(jié)點(diǎn)分類的?標(biāo)是通過最小化來訓(xùn)練?個(gè)分類器，其中 c 是類別數(shù)量，是衡量預(yù)測標(biāo)簽與真實(shí)標(biāo)簽之間差異的損失函數(shù)。通常是?個(gè)設(shè)計(jì)良好的圖神經(jīng)網(wǎng)絡(luò)。通過這種方式，根據(jù)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（Empirical Risk Minimization, ERM）原則，訓(xùn)練良好的節(jié)點(diǎn)分類器可以在未?數(shù)據(jù)上實(shí)現(xiàn)泛化。

然而，在現(xiàn)實(shí)世界中，可訪問的標(biāo)簽可能會受到標(biāo)簽噪聲的污染，從而降低的泛化能力。我們將噪聲標(biāo)簽表示為，即為其對應(yīng)的真實(shí)標(biāo)簽。

通常，我們考慮兩種類型的標(biāo)簽噪聲，以下是它們的定義：

• 均勻噪聲（Uniform Noise）或?qū)ΨQ噪聲：假設(shè)真實(shí)標(biāo)簽有的概率均勻地翻轉(zhuǎn)到其他所有的類別。形式上，對于，我們有，其中 c 表示類別數(shù)量。
• 對偶噪聲（Pair Noise）或?qū)ε挤D(zhuǎn)、?對稱噪聲：假設(shè)真實(shí)標(biāo)簽只能以概率 ? 翻轉(zhuǎn)到其對應(yīng)的對偶類別，而不會翻轉(zhuǎn)到其他任何類別。

需要注意的是，這些噪聲模型假設(shè)轉(zhuǎn)移概率僅依賴于觀察到的標(biāo)簽和真實(shí)標(biāo)簽，即與實(shí)例特征無關(guān)。而在現(xiàn)實(shí)世界中，標(biāo)簽噪聲可能更加復(fù)雜。在這項(xiàng)工作中，我們關(guān)注最以上兩種常用的噪聲類型，將其他噪聲類型留給未來的研究。

在每次實(shí)驗(yàn)中，我們?先根據(jù)給定的噪聲率和噪聲定義?成?個(gè)標(biāo)簽轉(zhuǎn)移概率矩陣。然后，對于每?個(gè)訓(xùn)練集和驗(yàn)證集中的?凈標(biāo)簽，我們根據(jù)其對應(yīng)的轉(zhuǎn)移概率從 Categorical distribution 中抽取?個(gè)噪聲標(biāo)簽。這些噪聲標(biāo)簽將用于后續(xù)的訓(xùn)練過程。

2、數(shù)據(jù)集選擇

我們選擇了 8 個(gè)節(jié)點(diǎn)分類數(shù)據(jù)集，這些數(shù)據(jù)集在不同的圖標(biāo)簽噪聲研究中被?泛使?。這些選定的數(shù)據(jù)集來?不同領(lǐng)域，具有不同的特征，使我們能夠評估現(xiàn)有?法在各種場景中的泛化能力。

具體來說，我們使用了三個(gè)經(jīng)典的引??絡(luò)數(shù)據(jù)集 Cora、Citeseer、Pubmed，以及?個(gè)作者合作網(wǎng)絡(luò)數(shù)據(jù)集 DBLP，還有兩個(gè)代表性的產(chǎn)品共購網(wǎng)絡(luò)數(shù)據(jù)集 Amazon- Computers 和 Amazon-Photo。此外，為了驗(yàn)證各種方法在異質(zhì)圖上的性能，我們使用了兩個(gè)代表性的社交網(wǎng)絡(luò)數(shù)據(jù)集 BlogCatalog 和 Flickr。對于每?種數(shù)據(jù)集，我們?yōu)槠溥m配最為常用的訓(xùn)練 - 測試 - 驗(yàn)證集劃分方法，以確保對各種方法進(jìn)行公平比較。

3、方法選擇

我們選擇了?系列最先進(jìn)的 GLN 算法，包括 NRGNN、RTGNN、CP、D-GNN、 RCNGLN、CLNode、PIGNN、UnionNET、CGNN 和 CRGNN；以及?組設(shè)計(jì)良好的 LLN 方法，包括兩種損失修正方法 Forward Correction 和 Backward Correction、兩種穩(wěn)健損失函數(shù) APL 和 SCE、兩種多網(wǎng)絡(luò)學(xué)習(xí)方法 Coteaching 和 JoCoR，以及?種噪聲適應(yīng)層方法 S- model。并根據(jù)它們的論?和源代碼嚴(yán)格地復(fù)現(xiàn)了所有?法。

4、期望研究的問題

在這項(xiàng)工作中，我們旨在回答以下問題：

RQ1：LLN ?法能否直接應(yīng)?于圖學(xué)習(xí)任務(wù)？

動機(jī)：盡管最近的研究表明，直接將傳統(tǒng)的標(biāo)簽噪聲下的學(xué)習(xí)（Learning with Label Noise, LLN）?法應(yīng)用于圖學(xué)習(xí)任務(wù)可能不會產(chǎn)?最佳結(jié)果，但?前對這?問題仍然缺乏全?的分析。因此，我們希望調(diào)查現(xiàn)有 LLN ?法對圖學(xué)習(xí)的適?性并理解其背后的原因。通過研究這個(gè)問題，我們可以更清楚地了解圖標(biāo)簽噪聲帶來的獨(dú)特挑戰(zhàn)，并確定哪些 LLN 技術(shù)在圖學(xué)習(xí)環(huán)境中仍然有效。

實(shí)驗(yàn)設(shè)計(jì)：我們選擇了在前文中提到的 7 種 LLN 方法，并以 GCN 作為骨干模型實(shí)現(xiàn)這些方法。然后，我們在八種具有不同性質(zhì)的數(shù)據(jù)集上進(jìn)行節(jié)點(diǎn)分類實(shí)驗(yàn)，評估它們在不同類型和水平的標(biāo)簽噪聲下的有效性。對于每種方法和數(shù)據(jù)集，我們記錄了 10 次運(yùn)?的平均準(zhǔn)確率指標(biāo)和標(biāo)準(zhǔn)差。通過比較這些 LLN 方法的性能，我們可以確定額外的 LLN 方法是否增強(qiáng)了骨干 GCN 模型的穩(wěn)健性。

RQ2: 現(xiàn)有的 GLN 方法取得了多大進(jìn)展？

動機(jī)：盡管先前的研究提出了許多 GLN 方法，但它們使?了不同的數(shù)據(jù)集、數(shù)據(jù)劃分和預(yù)處理技術(shù)，使得我們難以公平?較這些?法的性能。此外，我們注意到?多數(shù)現(xiàn)有?法是在同質(zhì)圖上進(jìn)?評估的，這引發(fā)了它們在異質(zhì)圖上適?性的擔(dān)憂，?異質(zhì)圖在實(shí)際中也很常?。通過研究這個(gè)問題，我們希望確定當(dāng)前的 GLN ?法是否有效地解決了圖標(biāo)簽噪聲問題，并找出它們的不?之處。

實(shí)驗(yàn)設(shè)計(jì)：我們實(shí)現(xiàn)了前?中描述的 10 種先進(jìn)的 GLN ?法，然后使? 8 個(gè)具有不同性質(zhì)的數(shù)據(jù)集和統(tǒng)?的實(shí)驗(yàn)設(shè)置評估這些?法的性能。對于每種?法和數(shù)據(jù)集，記錄了 10 次運(yùn)?的平均測試準(zhǔn)確率和標(biāo)準(zhǔn)差。由于這些 GLN ?法多數(shù)基于 GCN，我們在這些?法的代碼實(shí)現(xiàn)中調(diào)??個(gè)統(tǒng)?的 GCN ??模型，以公平地評估它們對標(biāo)簽噪聲的穩(wěn)健性。

RQ3: 現(xiàn)有的 GLN ?法計(jì)算效率如何？

動機(jī)：GLN 的計(jì)算效率對于其在現(xiàn)實(shí)世界中的應(yīng)?至關(guān)重要，?考慮標(biāo)簽噪聲可能會導(dǎo)致更?的計(jì)算開銷。盡管先前的研究深入探討了 GLN 方法的準(zhǔn)確性、泛化能?和穩(wěn)健性，但卻忽略了對這些方法計(jì)算效率的研究。

實(shí)驗(yàn)設(shè)計(jì)：我們記錄了在 30% 均勻噪聲下各種方法在不同數(shù)據(jù)集上的運(yùn)?時(shí)間和測試準(zhǔn)確率。具體來說，對于每種方法在每個(gè)數(shù)據(jù)集上進(jìn)行了 10 次實(shí)驗(yàn)。在每次實(shí)驗(yàn)中測量模型在驗(yàn)證集上達(dá)到最佳準(zhǔn)確率時(shí)的時(shí)間，并將其視為該?法的總運(yùn)行時(shí)間。通過這些實(shí)驗(yàn)可以評估  GLN 方法在計(jì)算效率和測試準(zhǔn)確率之間是否達(dá)到了平衡。

RQ4：現(xiàn)有的 GLN ?法對噪聲率敏感嗎？

動機(jī)：之前的研究使用了不同的標(biāo)簽噪聲率，這使得我們難以橫向比較各種方法的性能。因此，有必要使用?組?致的噪聲率來驗(yàn)證現(xiàn)有的 GLN 方法是否在不同噪聲水平下保持穩(wěn)定的性能。

實(shí)驗(yàn)設(shè)計(jì)：我們在相同的數(shù)據(jù)集和噪聲類型下評估幾種 GLN 方法在不同噪聲水平下的性能。具體來說，引入了 10%、20%、30%、40% 和 50% 的標(biāo)簽噪聲，并使?干凈標(biāo)簽作為基線。隨后，按照 RQ2 中描述的實(shí)驗(yàn)設(shè)置在這些數(shù)據(jù)集上訓(xùn)練并評估 GLN 方法。

RQ5：現(xiàn)有的 GLN ?法對不同類型的標(biāo)簽噪聲下表現(xiàn)如何？

動機(jī)：現(xiàn)有的 GLN 方法是基于各種技術(shù)和假設(shè)開發(fā)的，因此在處理不同類型的噪聲時(shí)，它們具有獨(dú)特的優(yōu)勢和劣勢。此外，確定哪種類型的噪聲對圖學(xué)習(xí)最具破壞性并理解其背后的原因是至關(guān)重要的。解決這個(gè)問題將有助于我們更好地理解每種方法的具體適?場景以及不同類型標(biāo)簽噪聲的獨(dú)特特性。

實(shí)驗(yàn)設(shè)計(jì)：我們保持 30% 的噪聲率不變，并對標(biāo)簽應(yīng)?均勻噪聲和對偶噪聲。隨后，按照 RQ2 中描述的實(shí)驗(yàn)設(shè)置在這些噪聲數(shù)據(jù)集上訓(xùn)練并評估 GLN 方法。

RQ6：好還是壞？重新審視圖結(jié)構(gòu)在標(biāo)簽噪聲中的作?。

動機(jī)：額外的圖結(jié)構(gòu)區(qū)分了圖數(shù)據(jù)和其他類型的? i.i.d. 數(shù)據(jù)。而圖神經(jīng)?絡(luò)的成功在很大程度上依賴于消息傳遞機(jī)制，該機(jī)制從圖結(jié)構(gòu)上的鄰域節(jié)點(diǎn)聚合信息。然而，在存在標(biāo)簽噪聲的情況下，沿著邊傳播的消息可能有雙重效果：?方面，標(biāo)簽噪聲通過傳播錯誤信息對圖學(xué)習(xí)產(chǎn)生負(fù)?影響；另???，它也可能通過與鄰居中的多數(shù)標(biāo)簽對?來緩解這種影響。因此，至關(guān)重要的是研究額外的圖結(jié)構(gòu)是否會放?標(biāo)簽噪聲的影響，以及現(xiàn)有的?法是否能有效解決這?挑戰(zhàn)。

實(shí)驗(yàn)設(shè)計(jì)：我們對全部十八種方法進(jìn)?了全面的實(shí)驗(yàn)，包括?個(gè) GCN 基線、七種 LLN 方法和十種 GLN 方法，旨在明確圖結(jié)構(gòu)在標(biāo)簽噪聲存在的情況下如何影響圖學(xué)習(xí)。具體來說，我們記錄了以下幾個(gè)指標(biāo)，包括在 30% 均勻噪聲下的正確標(biāo)記的訓(xùn)練節(jié)點(diǎn)的預(yù)測準(zhǔn)確率（ACLT）、錯誤標(biāo)記的訓(xùn)練節(jié)點(diǎn)的預(yù)測準(zhǔn)確率（AILT）、正確監(jiān)督的未標(biāo)記節(jié)點(diǎn)的預(yù)測準(zhǔn)確率（AUCS）、未監(jiān)督的未標(biāo)記節(jié)點(diǎn)的預(yù)測準(zhǔn)確率（AUU）和錯誤監(jiān)督的未標(biāo)記節(jié)點(diǎn)的預(yù)測準(zhǔn)確率（AUIS）。這?，「正確監(jiān)督」、「錯誤監(jiān)督」和「未監(jiān)督」分別指的是在未標(biāo)注節(jié)點(diǎn)的鄰域中有正確標(biāo)記的訓(xùn)練節(jié)點(diǎn)、錯誤標(biāo)記的訓(xùn)練節(jié)點(diǎn)以及沒有標(biāo)記節(jié)點(diǎn)的未標(biāo)記節(jié)點(diǎn)。

四、實(shí)驗(yàn)結(jié)果及分析

結(jié)論 1：大多數(shù) LLN 方法并未顯著提高 GNN 對標(biāo)簽噪聲的穩(wěn)健性（RQ1）。

實(shí)驗(yàn)結(jié)果顯示，存在標(biāo)簽噪聲的情況下，大多數(shù)選定的 LLN 方法并未顯著提? GNN 骨干的性能。大多數(shù)情況下，這些 LLN 方法的性能在統(tǒng)計(jì)上與基線相似。在某些情況下，應(yīng)?額外的 LLN ?法甚至可能會導(dǎo)致更差的結(jié)果。

三種包含噪聲轉(zhuǎn)移矩陣的 LLN 方法 S-model、Forward Correction 和 Backward Correction，在大多數(shù)情況下表現(xiàn)與基線相似。通常，這些基于轉(zhuǎn)移矩陣的方法學(xué)習(xí)到的是對?轉(zhuǎn)移矩陣，這表明由于標(biāo)簽的稀缺，它們未能學(xué)習(xí)正確的標(biāo)簽轉(zhuǎn)移模式。多網(wǎng)絡(luò)學(xué)習(xí)方法 Coteaching 和 JoCoR 在稀疏圖上表現(xiàn)與基線相似，但在密集圖上表現(xiàn)不佳。值得注意的是，我們發(fā)現(xiàn)兩種穩(wěn)健損失函數(shù)，主動被動損失（APL）和對稱交叉熵（SCE），在?些數(shù)據(jù)集上略微增強(qiáng)了基線模型的穩(wěn)健性。這種改進(jìn)可能是由于它們能夠減少對錯誤標(biāo)記樣本的過擬合，而它們的獨(dú)?同分布假設(shè)則限制了這種改進(jìn)的幅度。因此得出結(jié)論，僅僅將 LLN 方法應(yīng)用于 GNN 并不能實(shí)現(xiàn)對標(biāo)簽噪聲穩(wěn)健的圖學(xué)習(xí)解決?案。

結(jié)論 2：現(xiàn)有的 GLN ?法在?多數(shù)情況下可以緩解標(biāo)簽噪聲，但這種改進(jìn)僅限于特定的適?場景（RQ2）

對于每個(gè)數(shù)據(jù)集，總有?少?種 GLN 方法的抗噪能力優(yōu)于基線 GCN，這表明這些 GLN 方法在緩解圖標(biāo)簽噪聲問題上是有效的。然?，沒有?種方法能在所有數(shù)據(jù)集中始終表現(xiàn)良好。例如，NRGNN 在 Cora、Citeseer 和 DBLP 數(shù)據(jù)集中顯著優(yōu)于基線 GCN，但在其他數(shù)據(jù)集中則不然。這?結(jié)果表明，現(xiàn)有的 GLN 方法缺乏在不同類型數(shù)據(jù)中泛化的能力。此外，我們觀察到在 Flickr 數(shù)據(jù)集中，所有 GLN 方法的表現(xiàn)都不如基線，這突顯了它們在處理?度異質(zhì)圖??的不?。

結(jié)論 3：?些 GLN 方法的計(jì)算效率不高（RQ3）

盡管多種 GLN 方法在減少標(biāo)簽噪聲方面有效，但通常需要大量計(jì)算資源。實(shí)驗(yàn)結(jié)果表明，?些 GLN 方法在性能與計(jì)算效率之間難以平衡。例如，在 Cora 數(shù)據(jù)集上，RNCGLN 是最慢的，比 GCN 慢 66.8 倍，而在 DBLP 數(shù)據(jù)集上更是慢了驚人的 2945.8 倍。而在另???，雖然 NRGNN 方法也比 GCN 消耗更多時(shí)間，但它在兩個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了性能與計(jì)算效率之間的合理平衡。

結(jié)論 4：大多數(shù) GLN 方法在嚴(yán)重噪聲下無法保證高性能（RQ4）

在通常情況下，隨著噪聲水平的增加，每種方法的測試準(zhǔn)確率都會下降。這種下降在對偶噪聲中最為顯著，在 50% 對偶噪聲下，所有方法的測試準(zhǔn)確率?乎減半。此外，我們注意到在所有數(shù)據(jù)集上 RTGNN 在均勻噪聲下表現(xiàn)相對穩(wěn)定，并且 NRGNN 和 PIGNN 兩種方法在不同噪聲水平和類型下，在 DBLP 數(shù)據(jù)集上的表現(xiàn)優(yōu)于基線 GCN。

結(jié)論 5：對圖學(xué)習(xí)來說，對偶噪聲更具危害性（RQ5）

在實(shí)驗(yàn)中，我們觀察到對偶噪聲對模型的泛化能力構(gòu)成了最顯著的威脅。我們對此發(fā)現(xiàn)有?個(gè)解釋：回顧在前文中提供的定義。對于均勻噪聲，真實(shí)標(biāo)簽有可能翻轉(zhuǎn)到任何其他類別，這可能由于被錯誤標(biāo)注的節(jié)點(diǎn)導(dǎo)致的不正確參數(shù)更新可以被其他錯誤標(biāo)注的節(jié)點(diǎn)部分抵消。然?，對偶噪聲將翻轉(zhuǎn)類別限制為特定的對偶類別。對于分類器來說，這種類型的對偶翻轉(zhuǎn)可能更具誤導(dǎo)性。在完全訓(xùn)練后，分類器更有可能過擬合這些對偶標(biāo)簽，從而作出對偶類別的預(yù)測。當(dāng)節(jié)點(diǎn)特征通過消息傳遞機(jī)制傳播時(shí)，這種情況尤其有害，這可能導(dǎo)致局部鄰域內(nèi)的嵌?更加相似，從?使得它們更有可能被錯誤分類到相應(yīng)的對偶類別。

為了驗(yàn)證該假設(shè)，我們進(jìn)行了實(shí)證研究。具體來說，我們記錄了在 50% 對偶和均勻噪聲下 GCN 在五個(gè)數(shù)據(jù)集上的誤導(dǎo)性訓(xùn)練準(zhǔn)確率。這?的誤導(dǎo)性訓(xùn)練準(zhǔn)確率（AILMT）代表模型在對錯誤分類的類別做出錯誤預(yù)測時(shí)的準(zhǔn)確率，可以體現(xiàn)模型的過擬合程度。實(shí)驗(yàn)結(jié)果清楚地表明，對偶噪聲的對模型泛化能力的影響最大，更可能導(dǎo)致模型模型過擬合到錯誤的標(biāo)簽上。同樣的情況也發(fā)?在其他 LLN 和 GLN 方法中。

結(jié)論 6：圖結(jié)構(gòu)可以放大標(biāo)簽噪聲的負(fù)面影響（RQ6）

從實(shí)驗(yàn)結(jié)果來看，我們觀察到在稀疏圖（Cora）中，AUIS 和 AUU 相較于 AUCS 顯著下降。以 GCN 在 Cora 數(shù)據(jù)集上的表現(xiàn)為例，這種下降分別為 36.17% 和 10.85%。這些結(jié)果突顯了鄰居節(jié)點(diǎn)通過正確的標(biāo)簽對未標(biāo)注節(jié)點(diǎn)進(jìn)行正確監(jiān)督對 GNN 的學(xué)習(xí)過程?關(guān)重要。被正確標(biāo)注的鄰域節(jié)點(diǎn)提供的正確監(jiān)督顯著提?了未標(biāo)記節(jié)點(diǎn)的分類準(zhǔn)確率，而標(biāo)簽噪聲造成的錯誤監(jiān)督則嚴(yán)重降低了這些節(jié)點(diǎn)的分類準(zhǔn)確率，甚至比不進(jìn)?鄰域監(jiān)督時(shí)更糟。

此外，我們的研究還揭示了圖結(jié)構(gòu)增強(qiáng)方法在減輕標(biāo)簽噪聲傳播效應(yīng)??的有效性。具體來說，基于圖結(jié)構(gòu)增強(qiáng)的三種方法，即 NRGNN、RTGNN 和 RNCGLN，在所有方法中的 AUIS 相較于 AUCS 和 AUU 表現(xiàn)出了最小的下降。這表明它們可以有效減輕標(biāo)簽噪聲的傳播效應(yīng)。這種現(xiàn)象在像 Cora 這樣的稀疏圖中更加明顯。?個(gè)可能的解釋是它們采用的額外圖結(jié)構(gòu)學(xué)習(xí)技術(shù)可以在采樣過程中形成?于預(yù)測的更密集的圖結(jié)構(gòu)。因此，分類器可以獲得更多來?鄰域節(jié)點(diǎn)的參考，從?減少對鄰域錯誤標(biāo)記樣本的依賴。

結(jié)論 7：稀疏圖更容易受到標(biāo)簽噪聲傳播效應(yīng)的影響（RQ6）

從 Table 2 中可以看出，標(biāo)簽噪聲的傳播效應(yīng)在平均度較低的稀疏圖（如 Cora、 Citeseer、Pubmed 和 DBLP）上非常嚴(yán)重，但在密集圖（如 Amazon-Computers、 Amazon-Photos、Blogcatalog 和 Flickr）上則不明顯。對此現(xiàn)象的解釋是：稀疏圖上的未標(biāo)記節(jié)點(diǎn)在其鄰域中通常只有有限數(shù)量的標(biāo)注節(jié)點(diǎn)可用于監(jiān)督，所以這些未標(biāo)注節(jié)點(diǎn)的預(yù)測結(jié)果在很大程度上依賴于其鄰域中有限的標(biāo)注節(jié)點(diǎn)，如果這些節(jié)點(diǎn)被錯誤標(biāo)注，則很容易導(dǎo)致未標(biāo)注節(jié)點(diǎn)表示的錯誤學(xué)習(xí)。相比之下，對于密集圖，未標(biāo)注節(jié)點(diǎn)的鄰域包含許多可以作為參考的標(biāo)注節(jié)點(diǎn)。

因此，分類器模型更有可能從這些標(biāo)注節(jié)點(diǎn)中找到正確的監(jiān)督。這?假設(shè)得到了 Table 1 中實(shí)驗(yàn)結(jié)果的進(jìn)?步?持，我們觀察到，與稀疏圖（如 Cora、Citeseer 和 Pubmed）相?，GCN 在具有?平均節(jié)點(diǎn)度的密集圖（如 Blogcatalog 和 Amazon-Computers）上更不容易產(chǎn)?過擬合。

五、實(shí)踐落地與持續(xù)研究

本文提出的針對標(biāo)簽噪聲下圖神經(jīng)?絡(luò)的綜合基準(zhǔn)，可幫助阿里相關(guān)團(tuán)隊(duì)更精準(zhǔn)地評估圖相關(guān)技術(shù)在落地時(shí)的整體風(fēng)險(xiǎn)數(shù)據(jù)，并?效推進(jìn)后續(xù)相關(guān)的算法落地和應(yīng)用。最后，我們也為該領(lǐng)域未來的研究提供了?些思路：

• 設(shè)計(jì)廣泛適用的 GLN 方法。?多數(shù)現(xiàn)有的 GLN 方法無法在所有場景中確保?致的高性能，尤其在高度異質(zhì)的圖中。為了解決這個(gè)問題，我們可能需要探索幾個(gè)關(guān)鍵問題：a）不同圖數(shù)據(jù)集的共同屬性是什么？b）如何利用這些共同屬性增強(qiáng) GNNs 對標(biāo)簽噪聲的穩(wěn)健性？我們的實(shí)驗(yàn)結(jié)果表明增強(qiáng)圖結(jié)構(gòu)可以減少標(biāo)簽噪聲在不同密度圖中的傳播，進(jìn)而引出第三個(gè)問題：c）如果難以識別共同屬性，我們能否通過數(shù)據(jù)增強(qiáng)來統(tǒng)?這些特征？
• 為各種圖學(xué)習(xí)任務(wù)設(shè)計(jì) GLN 方法。先前對 GLN 的研究主要集中在節(jié)點(diǎn)分類任務(wù)上。然而，圖學(xué)習(xí)領(lǐng)域還包括其他重要應(yīng)?，如鏈路預(yù)測、邊屬性預(yù)測和圖分類等。這些應(yīng)用也可能受到標(biāo)簽噪聲的影響，需要進(jìn)?步關(guān)注和探索。
• 考慮圖學(xué)習(xí)中的其他類型標(biāo)簽噪聲。先前對 GLN 的研究假設(shè)圖數(shù)據(jù)中存在兩種實(shí)例無關(guān)的標(biāo)簽噪聲，即對偶噪聲和均勻噪聲。然二，更為現(xiàn)實(shí)的假設(shè)是實(shí)例相關(guān)標(biāo)簽噪聲，但目前尚未有相關(guān)的工作。此外，與其它領(lǐng)域的數(shù)據(jù)不同，圖數(shù)據(jù)存在額外的圖結(jié)構(gòu)，圖結(jié)構(gòu)很有可能影響圖數(shù)據(jù)的標(biāo)注過程，因此圖數(shù)據(jù)的標(biāo)簽噪聲模型很可能與圖拓?fù)浣Y(jié)構(gòu)相關(guān)。