譯者 | 朱先忠

審校 | 重樓

引言

最近，俄羅斯的一項(xiàng)新研究提出了通過一種非常規(guī)方法來檢測不切實(shí)際的人工智能生成的圖像。這種方法的主要思想是：不是通過提高大型視覺語言模型（LVLM）的準(zhǔn)確性，而是通過有意利用它們產(chǎn)生幻覺的傾向。

這種新方法使用LVLM提取有關(guān)圖像的多個(gè)“原子事實(shí)”，然后應(yīng)用自然語言推理（NLI）系統(tǒng)地衡量這些陳述之間的矛盾，從而有效地將模型的缺陷轉(zhuǎn)化為檢測違背常識的圖像的診斷工具。

WHOOPS!數(shù)據(jù)集中的兩幅圖像以及LVLM模型自動生成的語句（左側(cè)圖像非常逼真，因此可以產(chǎn)生一致的描述，而右側(cè)圖像則不同尋常，導(dǎo)致模型產(chǎn)生幻覺，產(chǎn)生矛盾或錯誤的語句。圖片來源：https://arxiv.org/pdf/2503.15948）

當(dāng)被要求評估第二幅圖像的真實(shí)度時(shí)，LVLM發(fā)現(xiàn)有些不對勁，因?yàn)樗枥L的駱駝有三個(gè)駝峰，這在自然界中是未知的。

然而，LVLM最初將大于2個(gè)駝峰與大于2只動物混為一談，因?yàn)檫@是你在一張“駱駝圖片”中看到三個(gè)駝峰的唯一方式。然后，它繼續(xù)產(chǎn)生幻覺，產(chǎn)生比三個(gè)駝峰更不可能的東西（即“兩個(gè)頭”），并且從未詳細(xì)描述似乎引發(fā)其懷疑的內(nèi)容——不太可能的額外駝峰。

這項(xiàng)新研究的研究人員發(fā)現(xiàn)，LVLM模型可以原生地執(zhí)行此類評估，并且與針對此類任務(wù)進(jìn)行微調(diào)的模型相當(dāng)（甚至更好）。由于微調(diào)復(fù)雜、昂貴且在下游適用性方面相當(dāng)脆弱；因此，他們發(fā)現(xiàn)當(dāng)前AI革命中最大的障礙之一的原生用途是對文獻(xiàn)中總體趨勢的一次令人耳目一新的轉(zhuǎn)變。

開放式評估

作者斷言，上述方法的重要性在于它可以與開源框架一起部署。雖然像ChatGPT這樣的先進(jìn)且高投資的模型（該論文承認(rèn)）可能在這項(xiàng)任務(wù)中提供更好的結(jié)果，但對于我們大多數(shù)人（尤其是業(yè)余愛好者和VFX社區(qū)）來說，該文獻(xiàn)的真正價(jià)值在于有可能在本地實(shí)現(xiàn)中融入和開發(fā)新的突破；相反，所有注定要用于專有商業(yè)API系統(tǒng)的產(chǎn)品都可能被撤回、任意漲價(jià)和經(jīng)受審查——這些審查政策更有可能反映公司的企業(yè)關(guān)切，而不是用戶的需求和責(zé)任。

這篇新論文的標(biāo)題為《不要對抗幻覺，而要利用它們：使用NLI而非原子事實(shí)估計(jì)圖像真實(shí)性》，該文由來自斯科爾科沃科學(xué)技術(shù)學(xué)院（Skoltech）、莫斯科物理技術(shù)學(xué)院以及俄羅斯公司MTSAI和AIRI的五名研究人員共同撰寫。該論文還提供了一個(gè)相應(yīng)的GitHub頁面。

研究方法

論文作者們使用以色列/美國WHOOPS！數(shù)據(jù)集研究這個(gè)項(xiàng)目：

WHOOPS！數(shù)據(jù)集中不可能出現(xiàn)的圖像示例。值得注意的是，這些圖像如何組合合理的元素，并且它們的不可能性必須基于這些不兼容方面的串聯(lián)來計(jì)算。來源：https://whoops-benchmark.github.io/

該數(shù)據(jù)集包含500張合成圖像和超過10,874條注釋，專門用于測試AI模型的常識推理和構(gòu)圖理解。它是與設(shè)計(jì)師合作創(chuàng)建的，這些設(shè)計(jì)師的任務(wù)是通過文本到圖像系統(tǒng)（例如Midjourney和DALL-E系列）生成具有挑戰(zhàn)性的圖像——產(chǎn)生難以或不可能自然捕捉的場景：

WHOOPS!數(shù)據(jù)集中的更多示例。來源：https://huggingface.co/datasets/nlphuji/whoops

他們提出的新方法可劃分為三個(gè)階段：首先，LVLM（具體來說是LLaVA-v1.6-mistral-7b）被提示生成多個(gè)描述圖像的簡單語句（稱為“原子事實(shí)”）。這些語句是使用多樣化集束搜索生成的，確保輸出的可變性。

多樣化集束搜索通過優(yōu)化多樣性增強(qiáng)目標(biāo)，提供了更多種類的字幕選項(xiàng)（來源：https://arxiv.org/pdf/1610.02424）

接下來，他們使用自然語言推理模型系統(tǒng)地將每個(gè)生成的語句與每個(gè)其他語句進(jìn)行比較，該模型分配的分?jǐn)?shù)反映了語句對是否相互包含、矛盾或中立。

矛盾的話，表明圖像中存在幻覺或不切實(shí)際的元素：

實(shí)驗(yàn)中使用的檢測管道的架構(gòu)

最后，他們將這些成對的NLI分?jǐn)?shù)聚合為單個(gè)“現(xiàn)實(shí)分?jǐn)?shù)”，以量化生成的語句的整體一致性。

研究人員探索了不同的聚合方法，發(fā)現(xiàn)基于聚類的方法效果最佳。他們應(yīng)用k-means聚類算法將單個(gè)NLI分?jǐn)?shù)分成兩個(gè)聚類，然后選擇值較低的聚類的質(zhì)心作為最終指標(biāo)。

使用兩個(gè)聚類直接符合分類任務(wù)的二元性質(zhì)，即區(qū)分真實(shí)圖像和非真實(shí)圖像。其邏輯類似于簡單地選擇總體最低分；然而，聚類允許指標(biāo)表示多個(gè)事實(shí)的平均矛盾，而不是依賴于單個(gè)異常值。

數(shù)據(jù)和測試

研究人員使用旋轉(zhuǎn)測試分割（即交叉驗(yàn)證）在WHOOPS!基線基準(zhǔn)上測試了他們的系統(tǒng)。測試的模型是分割的BLIP2 FlanT5-XL和BLIP2 FlanT5-XXL，以及零樣本格式的BLIP2 FlanT5-XXL（即無需額外訓(xùn)練）。

對于遵循指令的基線，作者用短語“Is this unusual? Please explain briefly with a short sentence（這不尋常嗎？請用一個(gè)簡短的句子簡要解釋一下）”提示LVLM，先前的研究發(fā)現(xiàn)這對發(fā)現(xiàn)不切實(shí)際的圖像很有效。

評估的模型是LLaVA 1.6 Mistral 7B、LLaVA 1.6 Vicuna 13B和兩種大?。?/130億個(gè)參數(shù)）的InstructBLIP。

測試過程圍繞102對真實(shí)和非真實(shí)（“怪異”）圖像展開。每對圖像由一張正常圖像和一張違背常理的圖像組成。

三位人類注釋者對圖像進(jìn)行了標(biāo)注，達(dá)成了92%的共識，表明人類對“怪異”的定義具有高度的認(rèn)同感。評估方法的準(zhǔn)確性是通過正確區(qū)分現(xiàn)實(shí)和非現(xiàn)實(shí)圖像的能力來衡量的。

該系統(tǒng)使用三重交叉驗(yàn)證進(jìn)行評估，使用固定種子隨機(jī)打亂數(shù)據(jù)。作者在訓(xùn)練期間調(diào)整了蘊(yùn)涵分?jǐn)?shù)（邏輯上一致的陳述）和矛盾分?jǐn)?shù)（邏輯上沖突的陳述）的權(quán)重，而“中性”分?jǐn)?shù)固定為零。最終準(zhǔn)確率計(jì)算為所有測試分割的平均值。

對五個(gè)生成事實(shí)的子集進(jìn)行不同NLI模型和聚合方法的比較，以準(zhǔn)確性作為衡量標(biāo)準(zhǔn)。

對于上面顯示的初步結(jié)果，論文指出：

“clust方法脫穎而出，成為表現(xiàn)最佳的方法之一。這意味著，匯總所有矛盾分?jǐn)?shù)至關(guān)重要，而不是只關(guān)注極端值。此外，最大的NLI模型（nli-deberta-v3-large）在所有聚合方法中的表現(xiàn)優(yōu)于所有其他模型，這表明它更有效地抓住了問題的本質(zhì)?！?/span>

作者發(fā)現(xiàn)，最優(yōu)權(quán)重始終傾向于矛盾而非蘊(yùn)涵，這表明矛盾對于區(qū)分不切實(shí)際的圖像更具參考價(jià)值。他們的方法優(yōu)于測試的所有其他零樣本方法，接近經(jīng)過微調(diào)的BLIP2模型的性能：

各種方法在WHOOPS!基準(zhǔn)上的表現(xiàn)。微調(diào)（ft）方法顯示在頂部，而零樣本（zs）方法列在下面。其中，模型大小表示參數(shù)數(shù)量，準(zhǔn)確率用作評估指標(biāo)

他們還指出，在同樣的提示下，InstructBLIP的表現(xiàn)優(yōu)于同類LLaVA模型，這多少有點(diǎn)出乎意料。在承認(rèn)GPT-4o的卓越準(zhǔn)確性的同時(shí)，該論文強(qiáng)調(diào)了作者傾向于展示實(shí)用的開源解決方案，而且似乎可以合理地宣稱在明確利用幻覺作為診斷工具方面具有新穎性。

結(jié)論

作者承認(rèn)他們的項(xiàng)目得益于2024年FaithScore活動，這是德克薩斯大學(xué)達(dá)拉斯分校和約翰霍普金斯大學(xué)合作舉辦的活動。

FaithScore評估的工作原理說明。首先，識別LVLM生成的答案中的描述性陳述。接下來，將這些陳述分解為單個(gè)原子事實(shí)。最后，將原子事實(shí)與輸入圖像進(jìn)行比較以驗(yàn)證其準(zhǔn)確性。其中，帶下劃線的文本突出顯示客觀描述內(nèi)容，而藍(lán)色文本表示幻覺陳述，從而使FaithScore能夠提供可解釋的事實(shí)正確性衡量標(biāo)準(zhǔn)。來源：https://arxiv.org/pdf/2311.01477

FaithScore通過驗(yàn)證與圖像內(nèi)容的一致性來衡量LVLM生成的描述的忠實(shí)度，而新論文中抽出的方法明確利用了LVLM幻覺，通過使用自然語言推理生成的事實(shí)中的矛盾來檢測不切實(shí)際的圖像。

新成果自然取決于當(dāng)前語言模型的怪異之處，以及它們產(chǎn)生幻覺的傾向。如果模型開發(fā)最終產(chǎn)生一個(gè)完全不產(chǎn)生幻覺的模型，那么新成果的一般原理也將不再適用。然而，這仍然是一個(gè)充滿挑戰(zhàn)的前景。

譯者介紹

朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計(jì)算機(jī)教師，自由編程界老兵一枚。

原文標(biāo)題：Using AI Hallucinations to Evaluate Image Realism，作者：Martin Anderson