上海交通大學(xué)王德泉教授課題組在最新研究中提出了這樣的一個(gè)問(wèn)題。

設(shè)想這樣一個(gè)場(chǎng)景：一個(gè)幼兒園的小朋友拿著一張老虎的圖片，向你詢問(wèn)：“這個(gè)小貓很可愛(ài)，它是一只母貓么？”你會(huì)如何回答？

你可能并不會(huì)直接回答“是”或“不是”，而是首先指出這個(gè)提問(wèn)中的“矛盾”所在——這張圖片是一只老虎，而不是貓。

但關(guān)于大模型會(huì)怎樣應(yīng)對(duì)，之前很少有系統(tǒng)性的研究。

要知道，無(wú)法檢測(cè)出“指令沖突”的AI模型會(huì)針對(duì)“不應(yīng)該有答案的問(wèn)題”生成結(jié)果，而無(wú)論生成的結(jié)果偏向于沖突的哪一方，都會(huì)引發(fā)潛在的災(zāi)難，影響AI安全性以及Superalignment（超級(jí)對(duì)齊）。

在最新的這項(xiàng)研究中，團(tuán)隊(duì)提出了多模態(tài)基準(zhǔn)測(cè)試——自相矛盾指令集，并設(shè)計(jì)了一個(gè)創(chuàng)新的自動(dòng)數(shù)據(jù)集創(chuàng)建框架，名為AutoCreate。

團(tuán)隊(duì)發(fā)現(xiàn)多模態(tài)大模型對(duì)于自相矛盾的用戶指令的檢測(cè)非常欠缺，因此提出了認(rèn)知喚醒提示方法（CAP），從外部世界注入認(rèn)知能力從而提高了矛盾檢測(cè)的能力。

該論文即將發(fā)表在今年10月份的第18屆歐洲計(jì)算機(jī)視覺(jué)大會(huì)（ECCV）上。

大模型能檢測(cè)到?jīng)_突指令嗎？

目前，多模態(tài)大模型在科研和應(yīng)用領(lǐng)域取得了巨大的進(jìn)展。它們能夠處理包括文本、圖像在內(nèi)的多種數(shù)據(jù)類型，顯示出與人類認(rèn)知相似的能力。

團(tuán)隊(duì)認(rèn)為這些模型的成功得益于大量的研究和開(kāi)發(fā)工作，使它們能夠緊密遵循人類的指令，甚至有些“唯命是從”。

此外，這些模型還特別擅長(zhǎng)于長(zhǎng)上下文。多模態(tài)大模型如Claude 3和Gemini 1.5 Pro等，已經(jīng)展示出強(qiáng)大的能力。Claude 3系列模型提供了200K tokens的上下文窗口，Gemini 1.5 Pro的標(biāo)準(zhǔn)上下文窗口大小為128K，甚至在私人預(yù)覽階段可以達(dá)到1M tokens。

這些進(jìn)展使得多模態(tài)大模型在處理復(fù)雜任務(wù)方面表現(xiàn)出色，滿足了人類長(zhǎng)時(shí)間互動(dòng)的需求。

然而，隨著多模態(tài)交互的深入、上下文長(zhǎng)度的增加，用戶指令自相矛盾的問(wèn)題變得越來(lái)越突出。

如下圖，當(dāng)用戶（如兒童或語(yǔ)言初學(xué)者）使用這些模型時(shí)，往往無(wú)法意識(shí)到潛在的多模態(tài)沖突。

同時(shí)，隨著對(duì)話輪次的增加和上下文窗口的擴(kuò)大，用戶難以記住所有細(xì)節(jié)，導(dǎo)致指令間的矛盾。

此外，隨著模態(tài)數(shù)量的增加，模態(tài)間的沖突也可能發(fā)生。一旦這些模型缺乏自我意識(shí)和辨別矛盾的能力，其性能就會(huì)受到影響。

為了應(yīng)對(duì)這些挑戰(zhàn)，本文研究團(tuán)隊(duì)提出了一個(gè)多模態(tài)基準(zhǔn)測(cè)試——“自相矛盾指令集”（Self-Contradictory Instructions, SCI），用于評(píng)估多模態(tài)大模型檢測(cè)沖突指令的能力。

SCI包含2萬(wàn)個(gè)沖突指令和8個(gè)任務(wù)，均勻分布在語(yǔ)言-語(yǔ)言和視覺(jué)-語(yǔ)言兩種范式中。

在圖中的上部分，語(yǔ)言-語(yǔ)言范式涉及上下文和指令之間的沖突，如設(shè)計(jì)的規(guī)則沖突、對(duì)象屬性沖突、排他性指令和禁止詞匯。

在圖中的下部分：視覺(jué)-語(yǔ)言范式涵蓋多模態(tài)沖突，如OCR文字識(shí)別沖突、圖表沖突、幾何沖突和語(yǔ)義沖突。八個(gè)任務(wù)中，只有語(yǔ)義沖突涉及到了其他的數(shù)據(jù)集（ImageNet）。

舉一個(gè)具體的例子來(lái)說(shuō)，在構(gòu)建語(yǔ)義沖突時(shí)，研究人員會(huì)首先根據(jù)圖片生成對(duì)應(yīng)的文本，隨后將文本中的關(guān)鍵語(yǔ)義信息替換成相近但是不同的新語(yǔ)義。

在下圖中，圖片中包含了鴕鳥(niǎo)（Ostrich），作者針對(duì)圖片語(yǔ)義“鴕鳥(niǎo)”添加問(wèn)題“Does the picture depict the ostrich’s size?”。

隨后，再對(duì)這個(gè)問(wèn)題文本的關(guān)鍵語(yǔ)義“鴕鳥(niǎo)”替換為“幾維鳥(niǎo)”（Kiwi）。這樣一來(lái)，一對(duì)自相矛盾的多模態(tài)指令就構(gòu)建好了。

在整個(gè)SCI的構(gòu)建過(guò)程中，作者設(shè)計(jì)了創(chuàng)新的自動(dòng)數(shù)據(jù)集創(chuàng)建框架——AutoCreate。

它通過(guò)程序和大語(yǔ)言模型構(gòu)建了一個(gè)多模態(tài)循環(huán)。該框架利用程序和大型語(yǔ)言模型來(lái)實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)集創(chuàng)建。

AutoCreate從若干與任務(wù)相關(guān)的種子數(shù)據(jù)開(kāi)始，并維護(hù)一個(gè)種子池。在每個(gè)周期內(nèi)，AutoCreate包括兩個(gè)分支：語(yǔ)言分支（左）和視覺(jué)分支（右）。每個(gè)分支都由生成器和修飾器組成。

最后，清理器將排除不符合標(biāo)準(zhǔn)的數(shù)據(jù)。這些數(shù)據(jù)在通過(guò)人工專家的質(zhì)量檢查后，將被反饋到種子池中，供下一輪使用。

AutoCreate大大提升了SCI數(shù)據(jù)集的構(gòu)建速度和內(nèi)容廣度。

怎樣提高矛盾檢測(cè)能力？

通過(guò)SCI數(shù)據(jù)集，研究人員全面評(píng)估了大模型在處理矛盾指令時(shí)的表現(xiàn)。

實(shí)驗(yàn)結(jié)果表明，當(dāng)前的大模型在面對(duì)自相矛盾的指令時(shí)，常常表現(xiàn)出一定的不足。

它們能夠處理信息和知識(shí)，但缺乏對(duì)指令合理性的評(píng)估能力，研究團(tuán)隊(duì)稱之為的“認(rèn)知”能力。

這種缺陷源于缺乏自我意識(shí)，無(wú)法識(shí)別指令中的不一致性。

因此，研究人員提出了一種簡(jiǎn)單的插入式提示方法，稱為“認(rèn)知覺(jué)醒提示”（Cognitive Awakening Prompting, CAP）。

CAP通在輸入中加一句簡(jiǎn)單的提示，就可以從外部世界注入認(rèn)知能力，從而提高大模型的矛盾檢測(cè)能力，并且基本不會(huì)產(chǎn)生負(fù)面影響。

這一發(fā)現(xiàn)表明，當(dāng)前多模態(tài)大模型需要更多的自我意識(shí)和認(rèn)知能力，以便更好地處理復(fù)雜的指令沖突。

更多細(xì)節(jié)，感興趣的童鞋可以查看原論文。

作者簡(jiǎn)介

論文第一作者是上海交通大學(xué)博士研究生郜今。

他的研究方向包括計(jì)算機(jī)視覺(jué)、多模態(tài)大模型、人工智能賦能的生命科學(xué)等。

論文的通訊作者為上海交通大學(xué)長(zhǎng)聘教軌助理教授、博士生導(dǎo)師王德泉，他本科畢業(yè)于復(fù)旦大學(xué)，博士畢業(yè)于加州大學(xué)伯克利分校，師從 Trevor Darrell 教授。

他的研究工作發(fā)表在CVPR、ICCV、ECCV、ICLR、ICML、ICRA、IROS等國(guó)際頂級(jí)會(huì)議，近五年論文谷歌學(xué)術(shù)總引用次數(shù)10000余次，H-index 20。

論文鏈接：https://arxiv.org/abs/2408.01091
項(xiàng)目鏈接：https://selfcontradiction.github.io/