自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

如何構(gòu)建可信GNN?最新綜述來了!可信圖神經(jīng)網(wǎng)絡(luò):維度,方法,趨勢

人工智能 新聞
本文從研究背景與特點出發(fā),提出了一個可信圖神經(jīng)網(wǎng)絡(luò)的開放框架,著重闡述了“可信GNN”的六大維度(魯棒性、可解釋性、隱私、公平性、問責、環(huán)境福祉)及其技術(shù)方法。

前言

在過去的幾年里,以神經(jīng)網(wǎng)絡(luò)為首的人工智能技術(shù)通過對不同類型數(shù)據(jù)的深入挖掘已經(jīng)深刻地改變了人類的生活并極大地推動了社會發(fā)展的進程 [1]。作為人工智能領(lǐng)域最活躍的研究方向之一,圖神經(jīng)網(wǎng)絡(luò)(GNNs)憑借其卓越的性能已經(jīng)被廣泛應(yīng)用于個性化推薦等日常生活中,在如新冠藥物研發(fā)等科學(xué)前沿領(lǐng)域也不乏其身影。隨著圖神經(jīng)網(wǎng)絡(luò)技術(shù)的蓬勃發(fā)展,人們發(fā)現(xiàn)以任務(wù)性能為單一設(shè)計目標的圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)中仍存在譬如面對惡意攻擊的脆弱性等問題。因此,人們愈發(fā)渴望建立起可信的圖神經(jīng)網(wǎng)絡(luò)。

近年來,構(gòu)建可信人工智能系統(tǒng)已經(jīng)成為了世界各國的普遍共識 [2][3]。如何全面地建立起可信圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了一個亟待解決的重大問題。該文是由Monash團隊(Shirui Pan, Xingliang Yuan,Bang Wu, He Zhang)聯(lián)合Hanghang Tong (UIUC) 以及Jian Pei (SFU,即將入職Duke)對可信圖神經(jīng)網(wǎng)絡(luò)的最新綜述(雙欄36頁,299篇文獻)。

該綜述從研究背景與特點出發(fā),提出了一個可信圖神經(jīng)網(wǎng)絡(luò)的開放框架,著重闡述了“可信GNN”的六大維度(魯棒性、可解釋性、隱私、公平性、問責、環(huán)境福祉)及其技術(shù)方法。同時,該綜述探討了不同可信維度之間的交互關(guān)系,并提出了可信圖神經(jīng)網(wǎng)絡(luò)未來的研究方向,為建立起可信圖神經(jīng)網(wǎng)絡(luò)描繪了一幅細致而全面的技術(shù)路線圖。

?綜述名稱:Trustworthy Graph Neural Networks: Aspects, Methods and Trends

全文鏈接:https://arxiv.org/pdf/2205.07424.pdf

Github: https://github.com/Radical3-HeZhang/Awesome-Trustworthy-GNNs 

1 緒論

圖作為一種具有極強表示能力的數(shù)據(jù)類型,通過描述實體特征和刻畫實體之間的關(guān)系,已經(jīng)被廣泛應(yīng)用于描述生物學(xué)、化學(xué)、物理學(xué)、語言學(xué)和社會科學(xué)等諸多領(lǐng)域的數(shù)據(jù)。近年來,圖神經(jīng)網(wǎng)絡(luò)技術(shù)的蓬勃發(fā)展已經(jīng)革命性地提升了各種圖計算任務(wù)的性能,并促進了其在現(xiàn)實生活中的廣泛應(yīng)用。

在日常生活中,圖神經(jīng)網(wǎng)絡(luò)通過考慮用戶與用戶/服務(wù)內(nèi)容之間的交互關(guān)系,可以在信息流媒體、在線購物、社交軟件等消費應(yīng)用中為用戶提供個性化搜索與推薦服務(wù)。在科學(xué)前沿中,通過使用圖數(shù)據(jù)來表示復(fù)雜的系統(tǒng),研究者們可以使用圖神經(jīng)網(wǎng)絡(luò)來發(fā)現(xiàn)天體運動背后隱藏的規(guī)律。通過將其應(yīng)用于虛假新聞檢測與新冠藥物研發(fā),圖神經(jīng)網(wǎng)絡(luò)大大提升了我們的社會福祉。

雖然研究者們已經(jīng)從很多角度(如自監(jiān)督學(xué)習,提升模型深度等)設(shè)計出了進一步提升圖神經(jīng)網(wǎng)絡(luò)性能的方法,但是在一些關(guān)鍵領(lǐng)域中任務(wù)性能不是設(shè)計圖神經(jīng)網(wǎng)絡(luò)的唯一目標。例如,基于圖神經(jīng)網(wǎng)絡(luò)的異常檢測系統(tǒng)需要對惡意攻擊具有魯棒性,基于圖神經(jīng)網(wǎng)絡(luò)的信用評分系統(tǒng)不應(yīng)該因為用戶的年齡、性別等因素拒絕其貸款申請,基于圖神經(jīng)網(wǎng)絡(luò)的藥物發(fā)現(xiàn)應(yīng)用應(yīng)向研發(fā)人員提供其結(jié)果的全面解釋。

基于上述需求,人們愈發(fā)渴望基于圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)是可信的。在這樣的背景下,這篇綜述旨在總結(jié)“可信圖神經(jīng)網(wǎng)絡(luò)(Trustworthy GNNs)”的最新進展,為相關(guān)研究人員和從業(yè)人員提供技術(shù)路線圖,并為可信圖神經(jīng)網(wǎng)絡(luò)的未來研究與產(chǎn)業(yè)化發(fā)展提供方向。

這篇綜述的主要貢獻有:1)以包含諸多可信維度的開放框架描述了可信圖神經(jīng)網(wǎng)絡(luò),并提出了圖神經(jīng)網(wǎng)絡(luò)與其他常見人工智能技術(shù)(如CNN)在可信研究中的典型差異;2)針對圖神經(jīng)網(wǎng)絡(luò)的不同可信維度,對現(xiàn)有方法進行了綜合且全面的總結(jié);3)提出了不同可信維度之間的關(guān)系對于構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)至關(guān)重要,并從方法和成效兩個層面總結(jié)了已有的研究工作;4)通過將可信圖神經(jīng)網(wǎng)絡(luò)的概念作為一個整體,提出了未來的潛在研究方向。

2 圖神經(jīng)網(wǎng)絡(luò)與可信

為了便于讀者理解,本文首先對以下核心概念進行介紹。

圖數(shù)據(jù)(graph data):圖一般由節(jié)點集合和邊集合構(gòu)成。該圖中節(jié)點的個數(shù)為,節(jié)點之間邊的個數(shù)為。給定圖,對應(yīng)的拓撲結(jié)構(gòu)可以用鄰接矩陣表示,其中表示了節(jié)點和節(jié)點之間的連接關(guān)系。即,如果節(jié)點相互連接,則,否則。如果圖中節(jié)點具有屬性,可用一個特征矩陣來描述這些屬性信息。因此,圖也可以表示為。

圖神經(jīng)網(wǎng)絡(luò)(GNNs):圖神經(jīng)網(wǎng)絡(luò)是一系列可用于圖數(shù)據(jù)上計算任務(wù)(如節(jié)點分類、鏈接預(yù)測、圖分類)的神經(jīng)網(wǎng)絡(luò)的總稱。圖神經(jīng)網(wǎng)絡(luò)中的一個典型運算步驟是消息傳播(message passaging)。在消息傳播的過程中,圖神經(jīng)網(wǎng)絡(luò)通過聚合所有鄰居節(jié)點的信息來更新當前節(jié)點的表示。在與其他運算結(jié)合(如非線性激勵)的基礎(chǔ)上,經(jīng)過多次表示更新迭代后,圖神經(jīng)網(wǎng)絡(luò)可以計算得到相應(yīng)的數(shù)據(jù)表示。

可信(trustworthiness):可信用于形容一個系統(tǒng)是值得被信任的,它描述了信任發(fā)起者(the trustor)與信任接收者(the trustee)之間的信任(trust)關(guān)系。在可信圖神經(jīng)網(wǎng)絡(luò)的上下文中,信任接收者(the trustee)是圖神經(jīng)網(wǎng)絡(luò)系統(tǒng),信任發(fā)起者(the trustor)可以是用戶,開發(fā)者,監(jiān)管部門甚至整個社會。

可信圖神經(jīng)網(wǎng)絡(luò)(Trustworthy GNNs)被定義為兼顧可信和卓越性能的圖神經(jīng)網(wǎng)絡(luò),這些可信維度包含但不限于圖神經(jīng)網(wǎng)絡(luò)的魯棒性、可解釋性、隱私、公平性、責任和福祉。原文定義如下:“In this survey, we define trustworthy GNNs as competent GNNs that incorporate core aspects of trustworthiness, including robustness, explainability, privacy, fairness, accountability, well-being, and other trust-oriented characteristics in the context of GNNs.”

3 綜述框架

該綜述在第一章主要介紹了研究背景、可信圖神經(jīng)網(wǎng)絡(luò)的定義、不同可信維度的定義、度量和研究差異、與已有綜述的關(guān)系及其主要貢獻。在第二章,它介紹了圖神經(jīng)網(wǎng)絡(luò)的基本概念和計算任務(wù)。在第三至八章,它分別從魯棒性(robustness)、可解釋性(explainability)、隱私(privacy)、公平性(fairness)、問責(accountability)、環(huán)境福祉(environmental well-being)這六個方面介紹、總結(jié)了典型的技術(shù)方法并討論了未來的研究方向。在第九章,這篇綜述從方法和成效兩個層面,總結(jié)了上述六個可信維度之間的復(fù)雜關(guān)系。最后,綜述的第十章將可信圖神經(jīng)網(wǎng)絡(luò)看成一個整體,為全面構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)提出了未來研究與產(chǎn)業(yè)化的五個方向。

4 魯棒性(Robustness)

魯棒性是指圖神經(jīng)網(wǎng)絡(luò)面臨干擾時保持穩(wěn)定預(yù)測結(jié)果的能力。圖神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果可以被多種擾動(尤其是各類針對圖神經(jīng)網(wǎng)絡(luò)的攻擊)所影響。這給圖神經(jīng)網(wǎng)絡(luò)在這給圖神經(jīng)網(wǎng)絡(luò)在銀行金融系統(tǒng)的欺詐偵測、自動駕駛系統(tǒng)的交通預(yù)測及規(guī)劃等涉及人身財產(chǎn)安全的場景中的應(yīng)用帶來了較為嚴峻的挑戰(zhàn)。因此,針對魯棒性的研究是可信圖神經(jīng)網(wǎng)絡(luò)中不可或缺的關(guān)鍵環(huán)節(jié)。

該綜述總結(jié)了目前圖神經(jīng)網(wǎng)絡(luò)魯棒性研究的相關(guān)工作,并分別介紹了對抗攻擊、防御的分類和一些典型方法。其中,對抗攻擊的分類源自對攻擊威脅模型(threat model)的分析,如下圖所示;對防御的分類則更多基于該技術(shù)的具體執(zhí)行階段(target phase)。

在介紹不同類別的方法時,作者對這些方法的特點與用于其他常見的人工技術(shù)(如CNN)的方法的差異進行了討論。例如,具體擾動操作類型(perturbation operations)和攻擊者目的(attack goals)的不同分類和名稱變化。

此外,作者還對這些攻擊、防御方法的適用性進行了討論和總結(jié)。例如,對不同類型的防御方法,作者從應(yīng)用階段(stage of application)、模塊化(modularity)、部署的兼容性(deployment compatibility)三個角度進行了比較和分析。

最后,該綜述根據(jù)目前現(xiàn)狀提出了未來的兩個研究方向,分別是制定標準化的魯棒性評估方法(robustness evaluations)和提高現(xiàn)有防御方法的可擴展性(defence scalability)。

5 可解釋性(Explainability)

可解釋性是指使圖神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果可以被人理解的能力。如果其預(yù)測結(jié)果不能夠被人所理解,那么人們就不會信任圖神經(jīng)網(wǎng)絡(luò)。信任的缺失會進一步限制其在涉及公平(如信用風險預(yù)測)、信息安全(如芯片設(shè)計)、生命安全(如自動駕駛)的場景中的應(yīng)用。因此,可信的圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)需要對其預(yù)測結(jié)果做出解釋。

在介紹了解釋形式、解釋方法的類別等基本概念后,該綜述將涉及圖神經(jīng)網(wǎng)絡(luò)可解釋性的工作分成了自解釋(interpretable GNNs)和事后解釋(post-hoc explainers)兩類。自解釋(Interpretable GNNs)主要包含了貢獻估計(contribution estimation)、引入可解釋模塊( introduction of interpretable module)、嵌入空間原型學(xué)習(embedding prototype learning) 和依據(jù)生成方法(rationale generation methods)。事后解釋(post-hoc explainers)主要包含了基于梯度/特征的方法(gradient/feature-based methods)、基于擾動的方法(perturbation-based methods)、代理模型方法(surrogate methods)、分解方法(decomposition methods)、生成方法(generation methods)和其他方法(other methods)。

該綜述在介紹了典型方法的原理后,對這些方法進行了全面的比較,如下表所示:

此外,該綜述從自解釋與事后解釋(interpretability and explainability)、提供解釋時所需的背景知識(white/grey/black-box knowledge)、獲得解釋的推理原理(reasoning rationale)、其他局限性(other limitations)這四個方面對當前的工作進行了總結(jié)。最后,該綜述提出建立嚴格的模型不可知的解釋方法(strictly model-agnostic methods)和用于真實應(yīng)用的評估基準(evaluation benchmark for real applications)是圖神經(jīng)網(wǎng)絡(luò)的可解釋性未來研究的兩個方向。

6 隱私(Privacy)

隱私也是構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)時不可忽略的可信維度。在構(gòu)建和維護可信圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)的過程中,模型本身或者圖數(shù)據(jù)等敏感、隱私的信息都面臨被泄漏的風險。因此,該綜述首先對當前隱私數(shù)據(jù)泄漏相關(guān)的研究進行了總結(jié),然后介紹了多種隱私保護方法。

針對隱私泄露問題,該綜述從當前隱私攻擊的威脅模型入手,首先介紹了潛在威脅的目標和能力,然后介紹了模型提取(model extraction attack)、成員推斷(membership inference attack)、模型逆向(model inversion attack)這三個常見的隱私攻擊和其他場景中存在的隱私泄露隱患。

隨后,該綜述介紹了在圖神經(jīng)網(wǎng)絡(luò)場景下的聯(lián)邦學(xué)習(federated learning)、差分隱私(differential privacy)、脫敏訓(xùn)練(insusceptible training)、安全計算(security computation)這四種隱私保護技術(shù)。此外,作者在對上述技術(shù)進行了分類介紹后,還對它們的具體應(yīng)用場景和隱私保護結(jié)束所帶來的隱私保護、模型精度、實行效率之間的權(quán)衡問題進行了討論。

在章節(jié)末尾,針對當前研究的現(xiàn)狀,作者認為目前對梯度信息導(dǎo)致的泄漏(leakage from gradient)隱患、隱私攻擊的防御手段(defence against privacy attacks)的研究仍綆短汲深,未來還需要進一步地關(guān)注和探索。

7 公平性(Fairness)

通過保護弱勢群體或者個人的關(guān)鍵利益,公平的系統(tǒng)可以贏得人們的信任。公平的圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)意味著其預(yù)測結(jié)果中排除了對于某些群體或者個人的偏見。當前,圖神經(jīng)網(wǎng)絡(luò)主要以數(shù)據(jù)驅(qū)動的方式來完成圖計算任務(wù)。然而,圖神經(jīng)網(wǎng)絡(luò)中的消息傳播機制可能會進一步放大已經(jīng)存在于數(shù)據(jù)中的偏見。此后,由于個人喜好或者行為偏差等因素,人們在與圖神經(jīng)網(wǎng)絡(luò)服務(wù)交互的過程中將進一步加深圖數(shù)據(jù)中的偏見。

在介紹了公平性定義(group fairness,individual fairness, counterfactual fairness)、使用階段(pre-processing, in-processing, post-processing)等基本概念后,該綜述將當前的用于圖神經(jīng)網(wǎng)絡(luò)公平性研究的方法分成了公平表示學(xué)習方法(fair representation learning methods)和公平預(yù)測增強方法(fair prediction enhancement methods)。在介紹完這些方法的基本原理后,對這些方法進行了全面的比較,如下表所示。

最后,該綜述提出探討公平性的定義與評估(fairness definition and evaluation)、對任務(wù)性能的影響(influence on task performance)、解釋不公平的來源(revealing unfairness)是未來圖神經(jīng)網(wǎng)絡(luò)公平性研究中需要重點關(guān)注的研究方向。

8 問責(Accountability)

隨著愈加廣泛的應(yīng)用場景和復(fù)雜的系統(tǒng)結(jié)構(gòu)的出現(xiàn),個人、企業(yè)和政府機構(gòu)都對可信圖神經(jīng)網(wǎng)絡(luò)中的有效問責提出了更高的要求。近年來,中、美、歐的企業(yè)和政府機構(gòu)關(guān)于如何構(gòu)建人工智能的問責框架提出了各自的規(guī)劃和指導(dǎo)意見。該綜述基于上述內(nèi)容,歸納了對圖神經(jīng)網(wǎng)絡(luò)問責框架的三個要求:

(1) 應(yīng)當設(shè)計合理的評估和認證機制(assessment and certification processes),并使其伴隨整個圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)的開發(fā)和運行周期;

(2) 應(yīng)當保證開發(fā)和運行過程的可審計性(assurance of auditability);

(3) 應(yīng)當建立足夠的協(xié)調(diào)和反饋機制,以方便人類對系統(tǒng)實施干預(yù)(adjusting)、補救(remediating)等措施,并可以對不當行為進行懲罰(punishing)。

隨后,該綜述介紹了當前可用于構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)中問責框架的兩大類工作:基準化分析(benchmarking)和安全性評估(security evaluation)。

該綜述根據(jù)圖神經(jīng)網(wǎng)絡(luò)不同的開發(fā)階段—模型設(shè)計(architecture design)、模型訓(xùn)練(model training)、模型驗證(model validation)—對基準化分析的研究進行了介紹。對于安全性評估,作者主要介紹了驗證系統(tǒng)完整性(integrity verification)的相關(guān)研究,并根據(jù)驗證對象的不同分別介紹了數(shù)據(jù)完整性(data integrity)、程序完整性(procedure integrity)的驗證。

最后,該綜述為可信圖神經(jīng)網(wǎng)絡(luò)的問責提出了三個研究方向。第一,提供針對更多不同性質(zhì)逾矩行為的檢測(violation detection);第二,覆蓋全過程的程序完整性檢測和全部件的數(shù)據(jù)完整性檢測;第三,繼續(xù)提高系統(tǒng)的可審計性和建立更多的協(xié)調(diào)反饋機制。

9 環(huán)境福祉(Environmental well-being)

可信圖神經(jīng)網(wǎng)絡(luò)應(yīng)當符合其部署環(huán)境的社會價值觀。當前,全球變暖是人類社會亟需解決的重大環(huán)境問題,實現(xiàn)碳中和的雄偉目標需要各行各業(yè)的共同努力。為了降低圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)的環(huán)境影響,在介紹了節(jié)點數(shù)每焦耳等相關(guān)的度量后,該綜述總結(jié)了提升圖神經(jīng)網(wǎng)絡(luò)效率的多種方法。

(1) 可擴展的圖神經(jīng)網(wǎng)絡(luò)和高效的數(shù)據(jù)通信:隨著圖數(shù)據(jù)的爆炸性增長,大規(guī)模數(shù)據(jù)集對于圖神經(jīng)網(wǎng)絡(luò)的高效運行提出了挑戰(zhàn)。為了應(yīng)對這一挑戰(zhàn),當前的技術(shù)主要包含了采樣方法(sampling method)、可拓展架構(gòu)(scalable architectures)、產(chǎn)業(yè)應(yīng)用(industrial applications)、高效數(shù)據(jù)通信(efficient data communication)等。

(2) 模型壓縮技術(shù):隨著技術(shù)的發(fā)展,研究人員提出了更深和更復(fù)雜的圖神經(jīng)網(wǎng)絡(luò)模型來提升其性能。然而,這些模型的規(guī)模限制了其在只具備有限計算資源的邊緣計算設(shè)備上的部署。因此,模型壓縮技術(shù)是解決這一挑戰(zhàn)的一個有效方法。相關(guān)的技術(shù)包含了知識蒸餾(knowledge distillation)、模型剪枝(model pruning)、減少參數(shù)規(guī)模(reducing parameter size)、模型量化(model quantisation)等。

(3) 開發(fā)框架與加速器:圖數(shù)據(jù)的不規(guī)則性、模型中稀疏與稠密計算的相互交替、模型與應(yīng)用的多樣性等特點使得圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)需要使用專門設(shè)計的框架與加速器來提升其效率。為了解決這一問題,當前的方法主要有軟件框架(SW frameworks)、硬件加速器(HW accelerators)、效率瓶頸分析(analysing the efficiency bottleneck)、軟硬件協(xié)同設(shè)計(SW-HW co-design)等。

最后,該綜述提出探索高效的圖神經(jīng)網(wǎng)絡(luò)(exploration of efficient GNNs)和研究用于圖神經(jīng)網(wǎng)絡(luò)的加速器(accelerators for GNNs)是未來促進圖神經(jīng)網(wǎng)絡(luò)環(huán)境福祉的兩個研究方向。

10 不同可信方面之間的關(guān)系

當前促進圖神經(jīng)網(wǎng)絡(luò)可信性的研究主要集中在上述六個維度中的一個,該綜述提出構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)不能忽視上述六個可信維度之間的關(guān)系,并從如下兩個角度對此進行了總結(jié):

1) 來自可信圖神經(jīng)網(wǎng)絡(luò)中一個維度的方法如何被用于解決其他維度的研究問題(how the methods from one aspect of trustworthy GNNs are adapted to address objectives in other aspects)。

2) 為什么促進可信圖神經(jīng)網(wǎng)絡(luò)的一個維度可能會促進或者抑制其他可信維度(why advancing one aspect of trustworthy GNNs can promote or inhibit other aspects)。

11 未來的研究方向

針對潛在的研究熱點,該綜述將可信圖神經(jīng)網(wǎng)絡(luò)看作一個整體并分析了當前方法的局限性。為了填補當前的研究空白,推動可信圖神經(jīng)網(wǎng)絡(luò)的產(chǎn)業(yè)化,該綜述提出了如下五個研究方向:

A. 擁抱可信設(shè)計理念(shift to trustworthy GNNs)

構(gòu)建可信的圖神經(jīng)網(wǎng)絡(luò)需要研究人員與圖神經(jīng)網(wǎng)絡(luò)從業(yè)人員全面擁抱可信理念,在設(shè)計圖神經(jīng)網(wǎng)絡(luò)時不僅要考慮其任務(wù)性能,更需要將可信的理念引入到圖神經(jīng)網(wǎng)絡(luò)的設(shè)計哲學(xué)中。已有的一些工作在設(shè)計中兼顧了可解釋性和公平性,這大大提升了圖神經(jīng)網(wǎng)絡(luò)的可信性。此外,解決在轉(zhuǎn)向可信圖神經(jīng)網(wǎng)絡(luò)的過程中面臨的一系列開放性問題,如在具體應(yīng)用中對不同可信維度(如自動駕駛中的魯棒性和環(huán)境福祉)進行平衡和取舍,也是一個具有挑戰(zhàn)性的研究方向。

B. 探索其他可信維度(other aspects of trustworthy GNNs)

可信圖神經(jīng)網(wǎng)絡(luò)所包含的內(nèi)容實際上超過了該綜述介紹的六個維度。例如,泛化能力(generalisation)也被認為是可信系統(tǒng)的一個重要維度。當前一些研究探究了圖神經(jīng)網(wǎng)絡(luò)外推(extrapolation)與其使用的激活函數(shù)之間的關(guān)系,這些工作豐富了可信的內(nèi)涵并促進了可信圖神經(jīng)網(wǎng)絡(luò)的構(gòu)建。此外,該綜述提出,妥善處理可信系統(tǒng)相關(guān)的設(shè)計原則(如國家新一代人工智能治理專業(yè)委員會發(fā)布的《新一代人工智能治理原則——發(fā)展負責任的人工智能》)也是可信圖神經(jīng)網(wǎng)絡(luò)在未來發(fā)展中的重要研究內(nèi)容。

C. 研究多樣相互關(guān)系(diversified relations)

該綜述只涉及了可信圖神經(jīng)網(wǎng)絡(luò)不同維度之間復(fù)雜關(guān)系的一部分。探索其他相互關(guān)系(如可解釋性和公平性)對于全面理解和構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)至關(guān)重要。此外,這些關(guān)系不僅復(fù)雜而且存在于多個層面。比如,反事實公平(counterfactual fairness)與魯棒性(robustness)在概念上具有相似性。因此,從概念、方法、成效等不同的層次探討可信圖神經(jīng)網(wǎng)絡(luò)的不同維度之間的相互關(guān)系也是一個有前景的研究方向。

D. 設(shè)計模型不可知方法(model-agnostic methods)

當前,很多提升圖神經(jīng)網(wǎng)絡(luò)可信性的方法需要使用專門設(shè)計的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)。如果不能訪問或者修改目標網(wǎng)絡(luò)架構(gòu)(如使用云服務(wù)),這些方法將無法使用。這大大降低了這些可信性增強方法在現(xiàn)實場景中的實用性。相比之下,模型不可知方法能夠以即插即用的方式靈活地被應(yīng)用到圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)中。此外,這類方法也能夠以功能模塊的形式被組合使用。因此,設(shè)計模型不可知的方法將大大提升其實用性并促進可信圖神經(jīng)網(wǎng)絡(luò)的構(gòu)建。

E. 建立可信技術(shù)生態(tài)(technology ecosystem for trustworthy GNNs)

作為一個蓬勃發(fā)展的領(lǐng)域,可信圖神經(jīng)網(wǎng)絡(luò)的發(fā)展離不開技術(shù)生態(tài)的支持。這里的技術(shù)生態(tài)包含但不限于工具包(tools)、數(shù)據(jù)集(datasets)、評估度量(metrics)、評估流程(pipelines)。由于圖數(shù)據(jù)的自身特性,當前的一些工具包(tools)如IBM的AI360可能無法直接用于圖神經(jīng)網(wǎng)絡(luò)的評估。例如,節(jié)點之間邊的存在打破了節(jié)點上的獨立同分布(IID)假設(shè),這就導(dǎo)致研究圖神經(jīng)網(wǎng)絡(luò)公平性時需要考慮節(jié)點之間的相互依賴。此外,由于應(yīng)用場景的多樣性,構(gòu)建可信圖神經(jīng)網(wǎng)絡(luò)也需要適用于不同任務(wù)和場景的數(shù)據(jù)集、度量、評估標準、軟件平臺等配套技術(shù)設(shè)施。因此,建立相應(yīng)的技術(shù)生態(tài)是可信圖神經(jīng)網(wǎng)絡(luò)的研究和產(chǎn)業(yè)化中的關(guān)鍵一步。?

責任編輯:張燕妮 來源: AI科技評論
相關(guān)推薦

2023-02-09 08:53:26

GNN神經(jīng)網(wǎng)絡(luò)深度學(xué)習

2022-03-25 15:07:05

神經(jīng)網(wǎng)絡(luò)AI數(shù)據(jù)

2022-07-06 17:18:46

網(wǎng)絡(luò)安全數(shù)字化數(shù)字經(jīng)濟

2022-03-02 14:53:34

人工智能神經(jīng)網(wǎng)絡(luò)

2021-10-26 09:00:00

圖形機器學(xué)習深度學(xué)習

2023-05-12 14:58:50

Java神經(jīng)網(wǎng)絡(luò)深度學(xué)習

2022-07-28 09:00:00

深度學(xué)習網(wǎng)絡(luò)類型架構(gòu)

2011-07-14 15:34:08

2021-09-07 17:37:04

人工智能機器學(xué)習技術(shù)

2021-07-28 15:35:58

谷歌神經(jīng)網(wǎng)絡(luò)AI

2019-07-24 05:36:32

神經(jīng)網(wǎng)絡(luò)語言模型NNLM

2013-04-03 11:06:13

思科可信網(wǎng)絡(luò)技術(shù)網(wǎng)絡(luò)架構(gòu)

2011-08-19 12:11:56

2024-02-07 17:08:42

2009-08-26 18:46:38

網(wǎng)絡(luò)威脅Web安全Blue Coat

2021-11-19 17:18:39

谷歌TensorFlow技術(shù)

2023-07-04 07:17:47

神經(jīng)網(wǎng)絡(luò)大規(guī)模GNN

2021-07-13 09:42:32

可信AI人工智能AI

2021-07-13 07:41:08

人工智能AI深度學(xué)習
點贊
收藏

51CTO技術(shù)棧公眾號