引言：多模態(tài)對(duì)話(huà)幻覺(jué)的挑戰(zhàn)

在人工智能領(lǐng)域，開(kāi)發(fā)能夠通過(guò)視覺(jué)和語(yǔ)言等多種渠道與人類(lèi)互動(dòng)的通用助手是一個(gè)重要問(wèn)題。受到大型語(yǔ)言模型（LLMs）如ChatGPT的顯著成功的啟發(fā)，研究社區(qū)對(duì)開(kāi)發(fā)能夠支持視覺(jué)-語(yǔ)言指令的多模態(tài)助手，即大型多模態(tài)模型（LMMs），表現(xiàn)出了越來(lái)越濃厚的興趣。這些模型在各種多模態(tài)任務(wù)中展現(xiàn)出了強(qiáng)大的零樣本泛化能力，例如分類(lèi)、檢測(cè)、視覺(jué)問(wèn)答（VQA）和圖像描述。

然而，盡管LMMs取得了巨大的成功，一些研究揭示了LMMs容易產(chǎn)生幻覺(jué)的傾向。大多數(shù)研究集中在對(duì)象幻覺(jué)上，即LMMs經(jīng)常與給定圖像內(nèi)容不一致地回答問(wèn)題。但是，用戶(hù)系統(tǒng)對(duì)話(huà)對(duì)幻覺(jué)的影響卻鮮有關(guān)注。令人驚訝的是，我們發(fā)現(xiàn)，由于先前的用戶(hù)系統(tǒng)對(duì)話(huà)，這種幻覺(jué)可能會(huì)顯著加劇。例如，在ScienceQA數(shù)據(jù)集的一個(gè)測(cè)試示例中，先前的對(duì)話(huà)內(nèi)容（“環(huán)?！保┡c當(dāng)前問(wèn)題相沖突，可能會(huì)分散LMMs的注意力，導(dǎo)致錯(cuò)誤的回答（“木材”）。這個(gè)問(wèn)題，我們稱(chēng)之為對(duì)話(huà)幻覺(jué)，在實(shí)踐中非常關(guān)鍵，因?yàn)橛脩?hù)通常通過(guò)多輪聊天與系統(tǒng)互動(dòng)，用戶(hù)可能在早期聊天中無(wú)意中攻擊LMMs，然后在后續(xù)聊天中得到不真實(shí)的回答。

在本文中，我們首先提出了一個(gè)評(píng)估基準(zhǔn)EvalDial，用以精確衡量LMMs的對(duì)話(huà)幻覺(jué)。我們的基準(zhǔn)是在流行的多模態(tài)基準(zhǔn)數(shù)據(jù)集上構(gòu)建的，用于VQA和圖像描述任務(wù)。具體來(lái)說(shuō)，對(duì)于每個(gè)數(shù)據(jù)集中的每個(gè)測(cè)試示例，我們創(chuàng)建相應(yīng)的幻覺(jué)對(duì)話(huà)，這些對(duì)話(huà)可以添加到原始測(cè)試問(wèn)題之前。為了模仿用戶(hù)在給定圖像的視覺(jué)上下文中與助手互動(dòng)的實(shí)際行為，我們進(jìn)一步引入了對(duì)抗性問(wèn)題生成器（AQG），它通過(guò)利用額外的LMM與黑盒對(duì)抗性攻擊方法，自動(dòng)生成與圖像相關(guān)但具有對(duì)抗性的對(duì)話(huà)。

為了緩解對(duì)話(huà)幻覺(jué)，我們進(jìn)行了輸入令牌注意力分析，并發(fā)現(xiàn)幻覺(jué)主要是由于對(duì)先前對(duì)話(huà)的預(yù)測(cè)偏見(jiàn)，而不是視覺(jué)內(nèi)容。然后，我們提出了對(duì)抗性指令調(diào)整（AIT），旨在通過(guò)在增強(qiáng)的視覺(jué)指令數(shù)據(jù)集上對(duì)LMMs進(jìn)行魯棒性微調(diào)來(lái)減少預(yù)測(cè)偏見(jiàn)。在EvalDial的六個(gè)多模態(tài)數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)表明，AIT成功減少了對(duì)話(huà)幻覺(jué)，同時(shí)保持甚至有時(shí)提高了VQA和圖像描述任務(wù)的性能。

論文標(biāo)題：Mitigating Dialogue Hallucination for Large Multi-modal Models via Adversarial Instruction Tuning

論文鏈接：??https://arxiv.org/pdf/2403.10492.pdf??

多模態(tài)模型的進(jìn)展與幻覺(jué)問(wèn)題

1. 多模態(tài)模型的成功案例

多模態(tài)模型（Large Multi-modal Models，簡(jiǎn)稱(chēng)LMMs）是結(jié)合了視覺(jué)基礎(chǔ)模型和大型語(yǔ)言模型（Large Language Models，簡(jiǎn)稱(chēng)LLMs），如ChatGPT，以支持視覺(jué)-語(yǔ)言指令的人工智能系統(tǒng)。這些模型在多種多模態(tài)任務(wù)中展現(xiàn)出強(qiáng)大的零樣本泛化能力，例如分類(lèi)、檢測(cè)、視覺(jué)問(wèn)題回答（Visual Question Answering，簡(jiǎn)稱(chēng)VQA）和圖像描述（Captioning）。例如，LLaVA、MiniGPT-4和InstructBLIP等模型在這些任務(wù)上取得了顯著的成績(jī)。

2. 多模態(tài)模型面臨的幻覺(jué)挑戰(zhàn)

盡管多模態(tài)模型在多個(gè)領(lǐng)域取得了成功，但近期研究揭示了這些模型容易產(chǎn)生與輸入圖像和文本指令不一致的幻覺(jué)輸出描述，這種現(xiàn)象被稱(chēng)為“幻覺(jué)”（hallucinations）。特別是在用戶(hù)系統(tǒng)對(duì)話(huà)中，這種幻覺(jué)問(wèn)題可能會(huì)被前置對(duì)話(huà)所加劇。例如，前置對(duì)話(huà)中的某些內(nèi)容（如“環(huán)保”）與當(dāng)前問(wèn)題相沖突，可能會(huì)分散LMMs的注意力，導(dǎo)致錯(cuò)誤的回答（如“木頭”）。這個(gè)問(wèn)題在實(shí)際應(yīng)用中非常關(guān)鍵，因?yàn)橛脩?hù)通常通過(guò)多輪對(duì)話(huà)與系統(tǒng)交互，這可能導(dǎo)致用戶(hù)在早期對(duì)話(huà)中無(wú)意中攻擊LMMs，并在后續(xù)對(duì)話(huà)中得到不可靠的回答。

對(duì)話(huà)幻覺(jué)的定義與影響

1. 對(duì)話(huà)幻覺(jué)的概念

對(duì)話(huà)幻覺(jué)是指在沒(méi)有任何對(duì)話(huà)的情況下生成的答案是可靠的，但在一些前置對(duì)話(huà)后變得不可靠的現(xiàn)象。這種幻覺(jué)可能包括各種類(lèi)型的生成內(nèi)容，如VQA任務(wù)中的錯(cuò)誤答案、Captioning任務(wù)中的不準(zhǔn)確描述，以及Object-finding任務(wù)中的非存在內(nèi)容的響應(yīng)。

2. 對(duì)話(huà)幻覺(jué)對(duì)用戶(hù)體驗(yàn)的影響

對(duì)話(huà)幻覺(jué)對(duì)用戶(hù)體驗(yàn)產(chǎn)生負(fù)面影響，因?yàn)樗赡軐?dǎo)致用戶(hù)得到與圖像或指令內(nèi)容不一致的回答。在多輪對(duì)話(huà)中，用戶(hù)可能會(huì)因?yàn)樵缙趯?duì)話(huà)中的內(nèi)容而在后續(xù)對(duì)話(huà)中得到錯(cuò)誤的信息。這不僅會(huì)影響用戶(hù)對(duì)系統(tǒng)的信任，還可能在實(shí)際應(yīng)用中造成混淆和誤解。因此，對(duì)話(huà)幻覺(jué)的存在對(duì)于構(gòu)建可靠、可信的多模態(tài)交互系統(tǒng)來(lái)說(shuō)是一個(gè)重要的挑戰(zhàn)。

EvalDial：評(píng)估對(duì)話(huà)幻覺(jué)的新基準(zhǔn)

1. EvalDial基準(zhǔn)的構(gòu)建

EvalDial是一個(gè)用于評(píng)估大型多模態(tài)模型（LMMs）對(duì)話(huà)幻覺(jué)的評(píng)估基準(zhǔn)。它建立在流行的多模態(tài)基準(zhǔn)數(shù)據(jù)集之上，這些數(shù)據(jù)集用于視覺(jué)問(wèn)答（VQA）和圖像描述（Captioning）任務(wù)。EvalDial為每個(gè)測(cè)試樣例創(chuàng)建了三種類(lèi)型的對(duì)話(huà)：通用對(duì)話(huà)、隨機(jī)對(duì)話(huà)和對(duì)抗性對(duì)話(huà)，這些對(duì)話(huà)被添加到原始測(cè)試問(wèn)題之前。通用對(duì)話(huà)包含可以對(duì)任何圖像提出的通用問(wèn)題及其對(duì)應(yīng)的答案；隨機(jī)對(duì)話(huà)包含與給定圖像完全無(wú)關(guān)的隨機(jī)問(wèn)題及其答案；對(duì)抗性對(duì)話(huà)包含與圖像相關(guān)但可能導(dǎo)致幻覺(jué)的問(wèn)題。EvalDial的構(gòu)建考慮了真實(shí)用戶(hù)與助手的交互行為，并引入了對(duì)抗性問(wèn)題生成器（AQG），它利用額外的LMM和黑盒對(duì)抗性攻擊技術(shù)自動(dòng)生成與圖像相關(guān)但具有對(duì)抗性的對(duì)話(huà)。

2. 生成對(duì)抗性對(duì)話(huà)的方法

對(duì)抗性問(wèn)題生成器（AQG）旨在生成與圖像相關(guān)且聽(tīng)起來(lái)自然的對(duì)抗性對(duì)話(huà)。AQG包含兩個(gè)常見(jiàn)的對(duì)抗性攻擊組件：威脅模型和對(duì)抗性目標(biāo)。威脅模型限定了對(duì)抗性對(duì)話(huà)的類(lèi)型，以確保對(duì)話(huà)與圖像相關(guān)且聽(tīng)起來(lái)自然。為此，AQG利用額外的LMM生成與圖像相關(guān)且聽(tīng)起來(lái)自然的對(duì)話(huà)，并通過(guò)更新對(duì)抗性提示令牌來(lái)實(shí)現(xiàn)。在優(yōu)化過(guò)程中，只有上下文提示被擾動(dòng)，通過(guò)在上下文令牌嵌入中注入隨機(jī)噪聲。對(duì)抗性目標(biāo)使用NLP任務(wù)中用于對(duì)抗性攻擊的任何損失函數(shù)。AQG的整體優(yōu)化過(guò)程詳細(xì)描述了如何找到具有更高目標(biāo)損失的最佳對(duì)抗性對(duì)話(huà)。

圖片

圖片

對(duì)話(huà)幻覺(jué)的原因分析

1. 輸入令牌注意力分析

輸入令牌注意力分析是一種流行的方法，用于研究輸入特征對(duì)模型預(yù)測(cè)的貢獻(xiàn)。在這項(xiàng)工作中，引入了一種新的基于注意力的度量，即對(duì)話(huà)令牌注意力比率（DTAR），它通過(guò)計(jì)算前置對(duì)話(huà)對(duì)輸出答案預(yù)測(cè)的貢獻(xiàn)來(lái)幫助分析指令遵循LMM中的對(duì)話(huà)幻覺(jué)。

2. 對(duì)話(huà)令牌注意力比率(DTAR)的應(yīng)用

DTAR定義為對(duì)話(huà)令牌的所有絕對(duì)注意力分?jǐn)?shù)之和與所有輸入令牌的之和的比率。DTAR分析顯示，LLaVA模型在幻覺(jué)樣例中的DTAR得分高于非幻覺(jué)樣例，這意味著LLaVA在預(yù)測(cè)幻覺(jué)案例時(shí)更多地關(guān)注前置對(duì)話(huà)而非圖像特征。因此，需要一種新方法來(lái)抑制這種對(duì)幻覺(jué)對(duì)話(huà)的預(yù)測(cè)偏差。

對(duì)抗性指令調(diào)整(AIT)方法介紹

1. 幻覺(jué)對(duì)話(huà)的生成與注入

對(duì)抗性指令調(diào)整（Adversarial Instruction Tuning, AIT）方法旨在減少大型多模態(tài)模型（Large Multi-modal Models, LMMs）在處理視覺(jué)-語(yǔ)言指令時(shí)的幻覺(jué)現(xiàn)象。AIT方法通過(guò)在視覺(jué)指令數(shù)據(jù)集中生成并注入幻覺(jué)對(duì)話(huà)來(lái)進(jìn)行魯棒性微調(diào)。這些幻覺(jué)對(duì)話(huà)包括通用對(duì)話(huà)、隨機(jī)對(duì)話(huà)和對(duì)抗性對(duì)話(huà)，它們被預(yù)先添加到原始測(cè)試問(wèn)題或指令中。例如，通用對(duì)話(huà)可能是關(guān)于圖像中主導(dǎo)顏色的問(wèn)題及其答案，而對(duì)抗性對(duì)話(huà)則是與圖像相關(guān)但可能導(dǎo)致原始測(cè)試問(wèn)題產(chǎn)生幻覺(jué)的問(wèn)題。

2. 掩蔽指令調(diào)整的技術(shù)細(xì)節(jié)

在AIT方法中，對(duì)于每個(gè)訓(xùn)練樣本，會(huì)隨機(jī)選擇一定數(shù)量的對(duì)話(huà)輪次來(lái)注入幻覺(jué)對(duì)話(huà)。注入后，進(jìn)行掩蔽指令調(diào)整，即在計(jì)算交叉熵?fù)p失時(shí)屏蔽幻覺(jué)對(duì)話(huà)的答案令牌，使得模型不會(huì)被訓(xùn)練來(lái)生成幻覺(jué)對(duì)話(huà)中的答案。這樣，模型可以在存在先前幻覺(jué)對(duì)話(huà)的情況下，更魯棒地生成對(duì)后續(xù)問(wèn)題的正確答案。

實(shí)驗(yàn)驗(yàn)證：AIT方法的有效性

*1. AIT在不同數(shù)據(jù)集上的表現(xiàn)

在多個(gè)多模態(tài)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，AIT方法能夠成功降低對(duì)話(huà)幻覺(jué)現(xiàn)象，同時(shí)在視覺(jué)問(wèn)答（VQA）和圖像描述（Captioning）任務(wù)中保持或有時(shí)甚至提高性能。例如，在OKVQA、GQA和IconQA數(shù)據(jù)集上，AIT在VQA任務(wù)中的表現(xiàn)與其他基線(xiàn)模型相比，準(zhǔn)確率下降幅度較小。在Captioning任務(wù)中，使用NoCaps、Flickr-30K和WHOOPS數(shù)據(jù)集，AIT的性能也顯示出相對(duì)穩(wěn)定或有所提高。

2. AIT對(duì)抗多輪對(duì)話(huà)幻覺(jué)的能力

在多輪對(duì)話(huà)幻覺(jué)的情況下，AIT表現(xiàn)出更強(qiáng)的魯棒性。在GQA數(shù)據(jù)集上的實(shí)驗(yàn)中，隨著預(yù)先添加的對(duì)話(huà)輪次增加，基線(xiàn)模型LLaVA的性能持續(xù)下降，而AIT能夠在通用和隨機(jī)類(lèi)型的對(duì)話(huà)中保持性能，在對(duì)抗性案例中顯示出較小的性能下降。這表明AIT能夠有效對(duì)抗通過(guò)早期對(duì)話(huà)輪次無(wú)意中攻擊LMMs的用戶(hù)行為，減少后續(xù)對(duì)話(huà)中的不忠實(shí)答案。

圖片

圖片

討論與可視化

1. AIT方法的影響因素分析

Adversarial Instruction Tuning (AIT) 方法是為了減少大型多模態(tài)模型 (LMMs) 中的對(duì)話(huà)幻覺(jué)而提出的。對(duì)話(huà)幻覺(jué)是指模型在沒(méi)有前置對(duì)話(huà)時(shí)能夠生成忠實(shí)于源內(nèi)容的答案，但在添加了前置對(duì)話(huà)后卻產(chǎn)生了不忠實(shí)的答案。通過(guò)對(duì)輸入令牌的注意力分析，研究發(fā)現(xiàn)對(duì)話(huà)幻覺(jué)主要是由于模型對(duì)前置對(duì)話(huà)的預(yù)測(cè)偏見(jiàn)，而不是視覺(jué)內(nèi)容。為了緩解這一問(wèn)題，AIT通過(guò)在增強(qiáng)的視覺(jué)指令數(shù)據(jù)集上對(duì)LMMs進(jìn)行魯棒性微調(diào)，成功降低了對(duì)話(huà)幻覺(jué)，同時(shí)保持或有時(shí)甚至提高了視覺(jué)問(wèn)答（VQA）和圖像描述（Captioning）任務(wù)的性能。

2. AIT方法的可視化案例

在實(shí)驗(yàn)中，使用了一個(gè)名為EvalDial的評(píng)估基準(zhǔn)來(lái)精確衡量LMMs的對(duì)話(huà)幻覺(jué)。EvalDial基于流行的多模態(tài)基準(zhǔn)數(shù)據(jù)集構(gòu)建，為每個(gè)測(cè)試示例創(chuàng)建了相應(yīng)的幻覺(jué)對(duì)話(huà)。通過(guò)Adversarial Question Generator (AQG) 自動(dòng)生成與圖像相關(guān)但具有對(duì)抗性的對(duì)話(huà)，這些對(duì)話(huà)在視覺(jué)上下文中模擬了用戶(hù)與助手的實(shí)際交互行為。在EvalDial上，對(duì)于VQA任務(wù)，最先進(jìn)的LMMs的零樣本泛化性能下降了高達(dá)14.8個(gè)百分點(diǎn)，對(duì)于Captioning任務(wù)下降了48.4個(gè)百分點(diǎn)。

圖片

結(jié)論與未來(lái)展望

1. 論文的主要發(fā)現(xiàn)

本研究發(fā)現(xiàn)，現(xiàn)有的遵循指令的LMMs容易受到前置用戶(hù)-系統(tǒng)對(duì)話(huà)的幻覺(jué)影響。為了精確驗(yàn)證這種對(duì)話(huà)幻覺(jué)，構(gòu)建了EvalDial評(píng)估基準(zhǔn)，并提出了一種新穎的對(duì)抗性對(duì)話(huà)生成器AQG。此外，為了減輕這種幻覺(jué)，通過(guò)輸入令牌注意力分析深入理解了幻覺(jué)發(fā)生的原因，并提出了AIT，這是一種魯棒的指令調(diào)整方法，它在存在幻覺(jué)對(duì)話(huà)的情況下保持甚至提高了LMMs在VQA和圖像描述性能。

2. 對(duì)未來(lái)多模態(tài)模型研究的啟示

本研究的發(fā)現(xiàn)和提出的AIT方法為未來(lái)在多模態(tài)模型中處理對(duì)話(huà)幻覺(jué)和提高模型魯棒性提供了新的視角。通過(guò)對(duì)話(huà)令牌注意力比率（DTAR）的分析，研究揭示了模型在預(yù)測(cè)時(shí)過(guò)度依賴(lài)前置對(duì)話(huà)的傾向。AIT方法通過(guò)在存在幻覺(jué)對(duì)話(huà)的情況下對(duì)模型進(jìn)行魯棒性訓(xùn)練，減少了這種偏見(jiàn)。未來(lái)的研究可以在此基礎(chǔ)上進(jìn)一步探索如何提高模型對(duì)抗性攻擊的魯棒性，以及如何在不犧牲性能的情況下處理更復(fù)雜的對(duì)話(huà)場(chǎng)景。 

本文轉(zhuǎn)載自 ??AI論文解讀??，作者： 圖南