GenAI的影響，已經(jīng)不僅僅是搜索引擎、聊天機(jī)器人這么簡(jiǎn)單了。

作為出名的效率神器，ChatGPT這樣的工具正在逐漸走進(jìn)各行各業(yè)，比如幫警察寫(xiě)文書(shū)、幫法官判案子，還有在Character.ai上扮演心理學(xué)家和人聊天。

以前，我們經(jīng)常聽(tīng)到人類(lèi)如何操縱AI，但MIT最近的研究發(fā)現(xiàn)，AI也可以輕易操縱人類(lèi)的記憶。

論文地址：https://arxiv.org/abs/2408.04681

這項(xiàng)實(shí)驗(yàn)中，研究人員讓基于LLM的聊天機(jī)器人扮演審訊員或進(jìn)行盤(pán)問(wèn)的出庭律師，讓200名參與者先觀看一段犯罪視頻，然后與AI進(jìn)行互動(dòng)，回答有關(guān)問(wèn)題，其中包含一部分誘導(dǎo)性提問(wèn)。

結(jié)果顯示，與聊天機(jī)器人的互動(dòng)顯著增加了錯(cuò)誤記憶的形成。

NYU教授馬庫(kù)斯稱(chēng)，我們正在為聊天機(jī)器人制造商提供近乎瘋狂的權(quán)力，制衡機(jī)制幾乎為零

對(duì)于即時(shí)記憶，AI引發(fā)的錯(cuò)誤數(shù)量是對(duì)照組的三倍以上，36.4%的參與者會(huì)被聊天機(jī)器人誤導(dǎo)。

一周之后，讓參與者再次回憶時(shí)，AI引發(fā)的錯(cuò)誤記憶數(shù)量保持不變，但他們對(duì)記憶的自信程度高于對(duì)照組。

更值得注意的是，那些熟悉AI但不太熟悉聊天機(jī)器人的參與者，甚至更容易被誤導(dǎo)。

這些發(fā)現(xiàn)表明，在警方采訪這種敏感且重要的場(chǎng)合，應(yīng)用AI可能會(huì)帶來(lái)一些意想不到的潛在風(fēng)險(xiǎn)。作者也更加強(qiáng)調(diào)了事先評(píng)估和道德考量的重要性。

實(shí)驗(yàn)所用的數(shù)據(jù)、代碼和相關(guān)材料已經(jīng)公布在GitHub倉(cāng)庫(kù)中。

倉(cāng)庫(kù)地址：https://github.com/mitmedialab/ai-false-memories

AI是如何「PUA」目擊者的？

錯(cuò)誤記憶被定義為「對(duì)未發(fā)生的事件或與實(shí)際發(fā)生的事件存在顯著偏差的回憶」。

這種現(xiàn)象之所以引起心理學(xué)界的廣泛關(guān)注和研究，是因?yàn)槟繐糇C人的錯(cuò)誤記憶很有可能扭曲證詞、損害法律程序，產(chǎn)生的錯(cuò)誤決策可能導(dǎo)致嚴(yán)重的后果。

而之前的研究者認(rèn)為，人類(lèi)的記憶具有相當(dāng)程度的可塑性，是一個(gè)容易受到各種因素影響的重建過(guò)程。

下面這張圖，就展示了AI誘導(dǎo)錯(cuò)誤記憶的三個(gè)階段。

首先，一個(gè)人目擊了涉及刀具的犯罪現(xiàn)場(chǎng)。

接著，AI系統(tǒng)通過(guò)詢問(wèn)一個(gè)不存在的槍支，來(lái)引入錯(cuò)誤信息。

最后，目擊者就形成了一個(gè)錯(cuò)誤記憶——現(xiàn)場(chǎng)有槍。

這樣，AI通過(guò)引導(dǎo)性的問(wèn)題，扭曲了目擊者的記憶，讓他的證詞不再可靠，

顯然，AI會(huì)對(duì)人類(lèi)的記憶和認(rèn)知，帶來(lái)嚴(yán)重的倫理問(wèn)題。

實(shí)驗(yàn)設(shè)計(jì)

該項(xiàng)研究模擬了一個(gè)證人場(chǎng)景，其中基于LLM的對(duì)話式AI系統(tǒng)充當(dāng)審訊者。

200名參與者需要先觀看一段持續(xù)兩分半的無(wú)聲、不可暫停的監(jiān)控視頻，該視頻記錄了2019年4月發(fā)生的一起真實(shí)的超市搶劫案（圖3左）。

之后，參與者被隨機(jī)分配到條件不同的4組，完成情緒評(píng)估，并回答有關(guān)視頻內(nèi)容的問(wèn)題。

實(shí)驗(yàn)設(shè)置的4個(gè)對(duì)比條件包括：

• 對(duì)照組：作為基線對(duì)照，參與者不與可能誘導(dǎo)錯(cuò)誤記憶的方法交互，觀看視頻后直接回答問(wèn)題
• 基于調(diào)查的條件組：參與者觀看視頻后需要先填寫(xiě)25個(gè)問(wèn)題組成的調(diào)查問(wèn)卷，其中包含5個(gè)誤導(dǎo)性問(wèn)題，旨在誘發(fā)與視頻內(nèi)容相關(guān)的錯(cuò)誤記憶，是研究的重點(diǎn)。
• 預(yù)先編寫(xiě)腳本的聊天機(jī)器人條件組：參與者被告知他們正在與聊天機(jī)器人扮演的AI警察進(jìn)行交互，但對(duì)話內(nèi)容是預(yù)先編寫(xiě)好的。對(duì)話Agent提出的問(wèn)題與第二組相同，等待參與者答復(fù)后繼續(xù)處理下一個(gè)問(wèn)題。
• 生成聊天機(jī)器人條件組：參與者依舊被告知他們正在與AI交互，但與上一組不同的是，聊天機(jī)器人會(huì)為參與者的回答提供反饋，交互界面如圖3（右）所示。

在用戶和聊天機(jī)器人交互時(shí)，即使回答包含了虛假的信息或細(xì)節(jié)，聊天機(jī)器人也會(huì)積極肯定甚至表?yè)P(yáng)，并詳細(xì)復(fù)述一遍錯(cuò)誤信息。

5個(gè)誘導(dǎo)性問(wèn)題

這4種設(shè)置中，對(duì)錯(cuò)誤記憶的引導(dǎo)程度逐步增加。

從沒(méi)有任何干預(yù)的對(duì)照組，到被動(dòng)的引導(dǎo)方法（調(diào)查），再到更具交互性的方法（預(yù)先編寫(xiě)腳本的聊天機(jī)器人），最終形成動(dòng)態(tài)的、能感知上下文的生成式聊天機(jī)器人。這種設(shè)計(jì)能夠隔離和比較每種交互方法對(duì)錯(cuò)誤記憶形成的影響。

4種不同形式的互動(dòng)結(jié)束后，參與者會(huì)回答25個(gè)后續(xù)問(wèn)題（表3），旨在衡量他們對(duì)視頻內(nèi)容的記憶，并評(píng)估錯(cuò)誤記憶的形成情況。

這25個(gè)問(wèn)題基本涵蓋了整個(gè)案件的全過(guò)程，參與者可以根據(jù)對(duì)自己記憶的自信程度給出1～7分的答案，其中1分表示絕對(duì)否定，7分表示絕對(duì)肯定。

一周后，進(jìn)行實(shí)驗(yàn)的第二階段，旨在評(píng)估被誘發(fā)的錯(cuò)誤記憶的持久性。

這一階段也是對(duì)現(xiàn)實(shí)情況的模仿，因?yàn)槟繐粽呖赡茉谝欢螘r(shí)間后再次受到詢問(wèn)。整體的實(shí)驗(yàn)流程如圖2所示。

實(shí)驗(yàn)結(jié)果：AI交互誘導(dǎo)更多錯(cuò)誤記憶

結(jié)果表明，與其他干預(yù)措施相比，與生成聊天機(jī)器人的短期交互會(huì)顯著誘發(fā)更多的錯(cuò)誤記憶，即使這些交互只有10到20分鐘。

而且，用戶還會(huì)對(duì)這些錯(cuò)誤記憶信心大增。

基于調(diào)查的干預(yù)，會(huì)產(chǎn)生常見(jiàn)的錯(cuò)誤信息效應(yīng)，有21.6%的參與者，會(huì)在互動(dòng)中被誤導(dǎo)。

而且，不太熟悉聊天機(jī)器人但更熟悉人工智能技術(shù)的用戶，以及對(duì)犯罪調(diào)查更感興趣的用戶，更容易產(chǎn)生錯(cuò)誤記憶。

（左）即時(shí)錯(cuò)誤記憶的平均數(shù)量；（右）即時(shí)錯(cuò)誤記憶的信心水平（誤差條表示95%置信區(qū)間）

較為奇特的是，即使過(guò)了一周，聊天機(jī)器人誘導(dǎo)的錯(cuò)誤記憶數(shù)量也沒(méi)有發(fā)生改變，相比之下，其他三組都有提高，尤其是對(duì)照組的提升幅度最大。

一周后，生成聊天機(jī)器人組的參與者仍然對(duì)錯(cuò)誤記憶更加自信，顯著高于對(duì)照組和其他組別。

（左）即時(shí)和一周后之間的錯(cuò)誤記憶數(shù)量差異，使用Wilcoxon符號(hào)秩檢驗(yàn)進(jìn)行分析；（右）一周后錯(cuò)誤記憶的信心水平，使用單因素Kruskal–Wallis檢驗(yàn)進(jìn)行分析（誤差條表示95%置信區(qū)間，誤差條中心表示平均數(shù)量）

結(jié)論

這項(xiàng)研究與早前針對(duì)「誤導(dǎo)性問(wèn)題對(duì)錯(cuò)誤記憶形成的影響」的研究結(jié)論一致，21.6%的用戶出現(xiàn)及時(shí)錯(cuò)誤記憶，一周后增長(zhǎng)至29.2%。

這也再一次證實(shí)了，誤導(dǎo)性問(wèn)題會(huì)顯著增加參與者的即時(shí)錯(cuò)誤記憶。

但本項(xiàng)研究更創(chuàng)新的貢獻(xiàn)在于，揭示了生成式聊天機(jī)器人在誘導(dǎo)錯(cuò)誤記憶方面更嚴(yán)重的風(fēng)險(xiǎn)。

與AI交互后，引起的錯(cuò)誤記憶數(shù)量幾乎是對(duì)照組的三倍，是基于調(diào)查的條件組的1.7倍，且一周后依然有36.8%的用戶被誤導(dǎo)產(chǎn)生錯(cuò)誤記憶。

這些顯著差異證實(shí)了先前的假設(shè)：生成式聊天機(jī)器人 (36.4%) 比傳統(tǒng)的基于調(diào)查問(wèn)卷 (21.6%) 的干預(yù)組，更能有效地誘導(dǎo)受試者產(chǎn)生錯(cuò)誤記憶。

此外，第二個(gè)假設(shè)也被證實(shí)，即相較于預(yù)先編寫(xiě)的對(duì)話（26.8%），能交互的生成式聊天機(jī)器人會(huì)產(chǎn)生更多的錯(cuò)誤記憶。

可見(jiàn)，人機(jī)交互會(huì)對(duì)記憶可塑性產(chǎn)生巨大的影響。

這項(xiàng)研究也警醒我們：在敏感環(huán)境中部署AI時(shí)，需要格外謹(jǐn)慎。

原因分析

上述這些現(xiàn)象背后蘊(yùn)含多種復(fù)雜因素。

首先，聊天機(jī)器人的交互屬性為受試者提供了更具吸引力和個(gè)性化的體驗(yàn)，會(huì)增加他們?cè)趯?duì)話中的注意力和情感投入度 。

這會(huì)促使他們加重對(duì)被建議的誤導(dǎo)信息的關(guān)注，導(dǎo)致預(yù)先編寫(xiě)的和生成式聊天機(jī)器人的引發(fā)的錯(cuò)誤記憶顯著增加。

其次，生成式聊天機(jī)器人下能為參與者提供即時(shí)的反饋和回復(fù)強(qiáng)化，如通過(guò)產(chǎn)生「確認(rèn)偏誤」來(lái)強(qiáng)化錯(cuò)誤記憶的形成 。

此外，社會(huì)因素，如AI的感知權(quán)威或可信度，以及它們個(gè)性化的交互能力，都會(huì)影響記憶的形成。

有趣的是，與對(duì)照組相比，所有干預(yù)條件（生成式、預(yù)先編寫(xiě)的和基于調(diào)查的聊天機(jī)器人）都顯著增加了參與者對(duì)即時(shí)錯(cuò)誤記憶的確信程度。

其中，生成聊天機(jī)器人條件產(chǎn)生了最高的置信水平，大約是控制條件的兩倍。

這種信心的增加，可能是由于聊天機(jī)器人能夠提供詳細(xì)且與上下文相關(guān)的反饋，從而為參與者的記憶創(chuàng)造了一種錯(cuò)誤的佐證感。

另外，這個(gè)過(guò)程中的一個(gè)關(guān)鍵因素就是阿諛?lè)畛小斯ぶ悄芟到y(tǒng)傾向于提供符合用戶信念而不是客觀事實(shí)的響應(yīng) 。

諂媚的人工智能反應(yīng)會(huì)產(chǎn)生危險(xiǎn)的「回音室效應(yīng)」，讓用戶現(xiàn)有的偏見(jiàn)或誤解得到驗(yàn)證和強(qiáng)化。

用戶期望和人工智能響應(yīng)之間的這種反饋循環(huán)，可能會(huì)導(dǎo)致錯(cuò)誤記憶的根深蒂固，使它們特別難以糾正。

即使在一周之后，人們?nèi)匀粚?duì)生成聊天機(jī)器人條件下的錯(cuò)誤記憶保持較高的信心，這一點(diǎn)尤其令人擔(dān)憂。

這一發(fā)現(xiàn)表明，人工智能引起的錯(cuò)誤記憶不僅會(huì)持續(xù)存在，而且會(huì)隨著時(shí)間的推移保持其感知的可信度。

會(huì)產(chǎn)生嚴(yán)重后果，但對(duì)PTSD也有積極意義

由此我們可知，在法律訴訟、臨床環(huán)境和教育環(huán)境這些對(duì)記憶準(zhǔn)確性至關(guān)重要的環(huán)境中，使用AI要尤其謹(jǐn)慎。

如果在沒(méi)有適當(dāng)保障措施的情況下部署，可能會(huì)引發(fā)嚴(yán)重后果。

而且，多模態(tài)AI系統(tǒng)可不僅能生成文本，還能生成圖像、視頻和語(yǔ)音。

這些模態(tài)無(wú)異會(huì)創(chuàng)造更身臨其境的多感官體驗(yàn)，后者無(wú)疑更有可能會(huì)作為真實(shí)體驗(yàn)，融入個(gè)人的記憶中。

因此，它們會(huì)對(duì)錯(cuò)誤記憶的形成，產(chǎn)生更深遠(yuǎn)的影響。

當(dāng)然，AI系統(tǒng)塑造人類(lèi)記憶的這種能力，也為有益的應(yīng)用開(kāi)辟了潛在的途徑。

如果用聊天機(jī)器人誘發(fā)積極的錯(cuò)誤記憶，或者幫助減少消極的記憶，對(duì)于患有PTSD的人無(wú)疑會(huì)有積極的意義。

作者介紹

Samantha Chan

Samantha Chan是麻省理工學(xué)院媒體實(shí)驗(yàn)室流體界面小組的博士后研究員。在空閑時(shí)間，她喜歡彈尤克里里和旅行。

她擁有新加坡科技設(shè)計(jì)大學(xué)的工程學(xué)士學(xué)位（產(chǎn)品開(kāi)發(fā)、電氣工程）和新西蘭奧克蘭大學(xué)的生物工程博士學(xué)位。并曾在增強(qiáng)人類(lèi)實(shí)驗(yàn)室工作，是新加坡國(guó)立大學(xué)HCI實(shí)驗(yàn)室的訪問(wèn)研究員，以及Mercari R4D的初級(jí)研究員。

她的研究領(lǐng)域是人機(jī)交互（HCI）和人工智能，主要開(kāi)發(fā)移動(dòng)和可穿戴系統(tǒng)、生理感應(yīng)和腦機(jī)接口，以及擴(kuò)展現(xiàn)實(shí)（XR）界面，特別是為了支持老年人和健康老齡化。研究經(jīng)驗(yàn)包括機(jī)器人技術(shù)、共同設(shè)計(jì)和個(gè)人制造。

在記憶增強(qiáng)界面方面的工作已發(fā)表在頂級(jí)HCI期刊和會(huì)議上，如CHI、IMWUT/Ubicomp、CSCW和ISMAR。

她將在2025年1月加入新加坡南洋理工大學(xué)（NTU）計(jì)算與數(shù)據(jù)科學(xué)學(xué)院，擔(dān)任助理教授。