研究人員發(fā)現(xiàn)，在神經(jīng)網(wǎng)絡(luò)推理的某些數(shù)據(jù)圖中存在尖峰，這些尖峰往往出現(xiàn)在神經(jīng)網(wǎng)絡(luò)判斷模糊與產(chǎn)生錯誤的地方。觀察這些尖峰，研究人員可以更容易發(fā)現(xiàn)人工智能系統(tǒng)中的故障點。

從分析癌癥突變的原因到?jīng)Q定誰應(yīng)該獲得貸款，在解決這些問題的過程中，仿照人腦的神經(jīng)網(wǎng)絡(luò)比人類表現(xiàn)得更加快速、準確、公正。但是由于人工智能的工作并不透明，難以得知它們推理判斷的過程，這引發(fā)了對人工智能可靠性的擔(dān)憂?，F(xiàn)在，一項新的研究提供了一種發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的錯誤出在哪里的方法。這項研究為揭示神經(jīng)網(wǎng)絡(luò)在出錯時正在進行怎樣的操作提供了可能。

神經(jīng)網(wǎng)絡(luò)在對數(shù)據(jù)集進行計算時，會將注意力集中在樣本上，例如圖像中是否包含人臉。編碼這些細節(jié)的數(shù)字串被用來計算樣本屬于某個特定類別的概率。在本例中，計算的是圖像中是否有一個人，以及這個人的臉是否顯示出來。

然而，神經(jīng)網(wǎng)絡(luò)從哪些樣本數(shù)據(jù)細節(jié)中習(xí)得了解決問題的方法，仍是未解之謎。神經(jīng)網(wǎng)絡(luò)的「黑盒」特性使得研究者難以判斷神經(jīng)網(wǎng)絡(luò)給出的答案是否正確。

論文作者，普渡大學(xué)的計算機科學(xué)教授 David Gleich 認為：「當(dāng)你向一個人詢問解決某個問題的方法，他可以給出一個你能理解的答案?！沟巧窠?jīng)網(wǎng)絡(luò)不會給出他們的解題過程。

在這項新研究中，Gleich 和同事們沒有追蹤實驗中神經(jīng)網(wǎng)絡(luò)對單個樣本的決策過程，而是試圖將系統(tǒng)對于整個數(shù)據(jù)庫的所有決策結(jié)果與樣本之間的關(guān)系進行可視化。

Gleich 表示：「我仍然對這項技術(shù)在幫助我們理解神經(jīng)網(wǎng)絡(luò)的可解釋性。」研究團隊用 ImageNet 數(shù)據(jù)庫中的 130 萬余張圖片對神經(jīng)網(wǎng)絡(luò)進行了訓(xùn)練。他們開發(fā)了一種能夠拆分與合并樣本分類的方法，用以識別有高概率屬于多個分類的圖像。

在此基礎(chǔ)上，研究團隊運用拓撲學(xué)，繪制出了神經(jīng)網(wǎng)絡(luò)的推斷結(jié)果與每個分類之間的關(guān)系圖。拓撲學(xué)的知識能夠幫助他們識別不同數(shù)據(jù)集之間的相似性。Gleich 表示：「基于拓撲數(shù)據(jù)分析的工具曾在分析乳腺癌中的特定亞群與基因是否有關(guān)的問題中發(fā)揮作用。」

論文鏈接：https://www.nature.com/articles/s42256-023-00749-8

在根據(jù)新研究成果生成的關(guān)系圖中，每個點代表神經(jīng)網(wǎng)絡(luò)認為有關(guān)聯(lián)的圖像組，不同分類的圖由不同的顏色表示。點之間的距離越近，神經(jīng)網(wǎng)絡(luò)認為每組圖像越相似。這些地圖的大部分區(qū)域都顯示了單一顏色的點群。

兩個不同顏色的重疊點表示有高概率屬于多個分類的圖像?！肝覀兊姆椒軌驑?gòu)建出類似地圖的關(guān)系圖，放大某些數(shù)據(jù)區(qū)域。」 Gleich 表示，「這些區(qū)域通常是某幾個分類邊界不明顯的地方，在這些地方，解決方案可能并不那么清晰。不過，它能突出值得進一步研究的特定的數(shù)據(jù)預(yù)測?！?/span>

由新方法生成的地圖能夠顯示網(wǎng)絡(luò)無法分類的區(qū)域。這種方法提供了「讓研究者能夠運用人類與生俱來的思維方式來推測神經(jīng)網(wǎng)絡(luò)的推理思路」的途徑。Gleich 表示道：「這使我們可以根據(jù)已知的網(wǎng)絡(luò)來預(yù)測它將如何響應(yīng)全新的輸入?！?/span>

研究團隊發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)特別容易混淆如胸腔的 X 光片、基因序列以及服裝等類別的圖案。例如，當(dāng)一個網(wǎng)絡(luò)在 Imagenette 數(shù)據(jù)庫（ImageNet 的一個子集）測試時，它反復(fù)地將汽車的圖片歸類為磁帶播放器。他們發(fā)現(xiàn)這是由于這些圖片是從網(wǎng)購列表中提取的，含有汽車音響設(shè)備的標簽。

該團隊的新方法有助于揭示「錯誤出在哪里」。Gleich 介紹說：「在這個層面上分析數(shù)據(jù)，可以讓科學(xué)家們從僅僅在新數(shù)據(jù)上得到一堆有用的預(yù)測，深入理解神經(jīng)網(wǎng)絡(luò)可能是如何處理他們的數(shù)據(jù)的?！?/span>

「我們的工具似乎很擅長幫助發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)本身是否包含錯誤，」Gleich 表示。「人們在手工標注數(shù)據(jù)時確實會犯錯誤。」

這種分析策略的潛在用途可能包括特別重要的神經(jīng)網(wǎng)絡(luò)應(yīng)用。比如說，神經(jīng)網(wǎng)絡(luò)在醫(yī)療保健或醫(yī)學(xué)中的應(yīng)用，以研究敗血癥或皮膚癌。

批評者認為，由于大多數(shù)神經(jīng)網(wǎng)絡(luò)都是根據(jù)過去的決定訓(xùn)練出來的，這些決定反映了對人類群體本來存在的偏見，因此 AI 系統(tǒng)最終會復(fù)制過去的錯誤。Gleich 說，如果能找到一種方法來使用新工具「了解預(yù)測中的偏見或成見」，可能是一個顯著的進步。

Gleich 表示，這一新工具可與神經(jīng)網(wǎng)絡(luò)一起使用，通過小數(shù)據(jù)集生成特定預(yù)測，例如「基因突變是否可能有害」。但目前為止，研究人員還沒有辦法將它應(yīng)用于大語言模型或擴散模型。

了解更多內(nèi)容，請參考原論文。