自GPT多模態(tài)亮相以來，開源多模態(tài)大模型層出不窮。

在人工智能領(lǐng)域，融合多種模態(tài)的大規(guī)模模型已被廣大研究者和業(yè)界視為發(fā)展的主流方向，也被認(rèn)為是構(gòu)建通用AI助手的核心組件。

國(guó)內(nèi)外一些研究人員在GPT-4V未真正亮相期間，推出了一些代表作，如LLaVa, MiniGPT-4, Mplug-Owl等，這些開源模型在自然指令跟蹤和視覺推理能力方面展示了非常強(qiáng)大的性能。

但有一個(gè)問題也一直困擾著眾多研究人員: 這些多模態(tài)大模型在能理解真實(shí)圖像的同時(shí)，也被嚴(yán)重的幻覺問題所困擾：看圖說瞎話，胡編亂造等問題時(shí)常出現(xiàn)，對(duì)視覺摘要、推理等視覺語言任務(wù)產(chǎn)生了非常大的負(fù)面影響。

今年10月, 北卡教堂山、斯坦福、哥大、羅格斯等大學(xué)的研究人員系統(tǒng)分析了LVLMs中幻覺的三種成因, 并且提出了一個(gè)通用的解決方案LURE（LVLM Hallucination Revisor，幻覺修正器），通過重建一個(gè)包含更少幻覺的描述來糾正LVLM中的物體幻覺（object hallucination）問題，可以與任意LVLM進(jìn)行無縫集成。

論文地址: https://arxiv.org/abs/2310.00754

代碼地址: https://github.com/YiyangZhou/LURE

LURE的設(shè)計(jì)基于對(duì)產(chǎn)生物體幻覺的關(guān)鍵因素，進(jìn)行嚴(yán)格統(tǒng)計(jì)分析，包括共現(xiàn)（某些物體在圖像中與其他物體一起頻繁出現(xiàn)）、不確定性（在LVLM解碼期間具有較高不確定性的物體）和物體位置（幻覺通常出現(xiàn)在生成文本的后面部分）。

研究人員在六個(gè)開源LVLM上對(duì)LURE進(jìn)行評(píng)估了，與之前的最佳方法相比，通用物體幻覺評(píng)估指標(biāo)提高了23%；在GPT和人工評(píng)估中，LURE始終名列前茅。

幻覺從哪來，為什么會(huì)產(chǎn)生這樣的幻覺？

研究人員對(duì)LVLMs產(chǎn)生幻覺的原因進(jìn)行了系統(tǒng)性的分析，可以歸結(jié)為如下三個(gè)因素：

1. 物體間的同現(xiàn)和假相關(guān)性

研究人員對(duì)不同對(duì)LVLMs對(duì)于訓(xùn)練集合中圖片相應(yīng)的描述統(tǒng)計(jì)發(fā)現(xiàn)，大部分幻覺的描述中的物體都會(huì)存在較高的共現(xiàn)分?jǐn)?shù)，也就是說幻覺物體極大概率是經(jīng)常一起出現(xiàn)的物體。

例如：一張圖片中有草和天空，那么出現(xiàn)幻覺的描述中的幻覺物體大概率可能是樹木、鳥兒，因?yàn)檫@些物體在訓(xùn)練集合中經(jīng)常一起出現(xiàn)。

2. 解碼過程的不確定性

同時(shí)幻覺物體大概率是解碼過程中不太確定的物體，這種不確定性會(huì)導(dǎo)致模型在解碼過程中錯(cuò)誤選擇概率差不多且不太確定的物體，導(dǎo)致描述中出現(xiàn)了幻覺。

3、位置關(guān)系

同時(shí)研究人員觀察了大量的幻覺描述發(fā)現(xiàn)，幻覺集中出現(xiàn)在模型響應(yīng)圖像的描述的后半段，這可能是模型前面的輸出的錯(cuò)誤觸發(fā)了后續(xù)幻覺的滾雪球。

為了驗(yàn)證上述分析的可靠性，研究人員還對(duì)這三個(gè)因素對(duì)于幻覺的貢獻(xiàn)進(jìn)行了詳細(xì)的理論證明。

方法介紹

那么如何減少這樣的幻覺呢？

為了減少LVLMs幻覺，研究團(tuán)隊(duì)提出了首個(gè)多模態(tài)幻覺緩解方案LURE：基于上述分析的關(guān)鍵因素，LURE通過物體幻覺修正器，能與任意LVLM無縫銜接，對(duì)不準(zhǔn)確的描述進(jìn)行糾正。

訓(xùn)練流程

推理流程

實(shí)驗(yàn)及結(jié)果

效果怎么樣呢？

在六個(gè)開源的LVLMs上，LURE都證明了自己的有效性。

在各種評(píng)估指標(biāo)下，如CHAIR、GPT評(píng)估以及人類評(píng)估，它都能顯著減少至少23%的物體幻覺。

本文將MiniGPT-4 llama7B作為基準(zhǔn)模型用于訓(xùn)練LURE，然后集成于6個(gè)開源的LVLM，與其余減少幻覺的basline相比LURE能大幅降低模型輸出時(shí)的幻覺：

研究人員同時(shí)進(jìn)行了消融實(shí)驗(yàn)，證明了LURE算法適用于各種LVLMs

且不依賴于數(shù)據(jù)集本身所帶來的性能偏移。

此外之前分析的三個(gè)因素在LURE后處理之后都能有明顯的改善：

由于幻覺評(píng)估除了經(jīng)典的CHAIR，沒有其他評(píng)估指標(biāo)，研究人員還分析了傳統(tǒng)的機(jī)器翻譯指標(biāo)是否適用于幻覺的評(píng)估：

案例分析