研究動機(jī)

隨著人們越來越多地采用大語言模型（LLM）作為在經(jīng)濟(jì)學(xué)、政治學(xué)、社會學(xué)和生態(tài)學(xué)等各種應(yīng)用中模擬人類的 Agent 工具，這些模型因其類似人類的認(rèn)知能力而顯示出巨大的潛力，以理解和分析復(fù)雜的人類互動和社會動態(tài)。然而，大多數(shù)先前的研究都是基于一個未經(jīng)證實的假設(shè)，即 LLM Agent 在模擬中的行為像人類一樣。因此，一個基本的問題仍然存在：LLM Agents 真的能模擬人類行為嗎？

在這篇論文中，我們專注于人類互動中的信任行為，這種行為通過依賴他人將自身利益置于風(fēng)險之中，是人類互動中最關(guān)鍵的行為之一，在日常溝通到社會系統(tǒng)中都扮演著重要角色。因此，我們主要驗證了 LLM Agents 能否做出和人類行為相似的信任行為。我們的研究成果為模擬更為復(fù)雜的人類行為和社會機(jī)構(gòu)奠定了基礎(chǔ)，并為理解大型語言模型（LLM）與人類之間的對齊開辟了新方向。

• 論文標(biāo)題：Can Large Language Model Agents Simulate Human Trust Behavior?
• 項目主頁: https://agent-trust.camel-ai.org/
• 代碼：https://github.com/camel-ai/agent-trust
• 論文：https://arxiv.org/abs/2402.04559
• 在線 demo：https://huggingface.co/spaces/camel-ai/agent-trust-Trust-Game-Demo & https://huggingface.co/spaces/camel-ai/agent-trust-Repeated-trust-game-Demo

這項研究得到了論文合著者之一 James Evans 教授的轉(zhuǎn)發(fā)。

圖源：https://x.com/profjamesevans/status/1853463475928064274

James Evans 是芝加哥大學(xué)社會學(xué)系 Max Palevsky 講席教授，擔(dān)任知識實驗室（Knowledge Lab）主任，并創(chuàng)立了該校的計算社會科學(xué)碩士項目。他畢業(yè)于斯坦福大學(xué)，曾在哈佛大學(xué)從事社會組織結(jié)構(gòu)方面的研究。James Evans 教授的研究領(lǐng)域包括群體智能、社會組織結(jié)構(gòu)分析、科技創(chuàng)新的產(chǎn)生和傳播等。他特別關(guān)注創(chuàng)新過程，即新思想和技術(shù)的出現(xiàn)方式，以及社會和技術(shù)機(jī)構(gòu)（如互聯(lián)網(wǎng)、市場、合作）在集體認(rèn)知和發(fā)現(xiàn)中的作用。他的研究成果發(fā)表在《科學(xué)》（Science）、《美國國家科學(xué)院院刊》（PNAS）、《美國社會學(xué)雜志》（American Journal of Sociology）等頂級期刊上。

同時也得到了 John Horton 的推薦。John Horton 是麻省理工學(xué)院斯隆管理學(xué)院的終身副教授，并且是國家經(jīng)濟(jì)研究局（NBER）的研究員。他的研究領(lǐng)域主要集中在勞動經(jīng)濟(jì)學(xué)、市場設(shè)計和信息系統(tǒng)的交叉點，特別關(guān)注如何提高匹配市場效率和公平性。他近期的研究包括探討大型語言模型在模擬經(jīng)濟(jì)主體中的應(yīng)用等。 

圖源：https://x.com/johnjhorton/status/1781767760101437852

此外，該研究還得到了其他人的好評:「這項研究為社會科學(xué)和人工智能的應(yīng)用開辟了許多可能性。信任確實是人際交往中的一個關(guān)鍵因素。很期待看到這一切的發(fā)展?！?/span>

圖源：https://www.linkedin.com/feed/update/urn:li:activity:7266566769887076352?commentUrn=urn%3Ali%3Acomment%3A%28activity%3A7266566769887076352%2C7266707057699889152%29&dashCommentUrn=urn%3Ali%3Afsd_comment%3A%287266707057699889152%2Curn%3Ali%3Aactivity%3A7266566769887076352%29

「GPT-4 智能體在信任游戲中表現(xiàn)出與人類行為一致的發(fā)現(xiàn)是模擬人類互動的有趣一步。信任是社會系統(tǒng)的基礎(chǔ)，這項研究暗示了 LLM 建模和預(yù)測人類行為的潛力?！?/span>

圖源：https://www.linkedin.com/feed/update/urn:li:activity:7266566769887076352?commentUrn=urn%3Ali%3Acomment%3A%28activity%3A7266566769887076352%2C7266596268271947777%29&dashCommentUrn=urn%3Ali%3Afsd_comment%3A%287266596268271947777%2Curn%3Ali%3Aactivity%3A7266566769887076352%29

研究框架

研究框架的核心設(shè)置包括以下幾個方面：

• 信任行為：由于信任行為具有高度的抽象性，我們選擇使用 Trust Game 及其變體作為研究工具，這是行為經(jīng)濟(jì)學(xué)中經(jīng)典且有效的方法，能夠幫助量化和分析信任相關(guān)的決策和行為。
• 模型多樣性：我們使用了多種類型的語言模型，包括閉源模型（如 GPT-4、GPT-3.5-turbo 等）和開源模型（如 Llama2、Vicuna 的不同參數(shù)版本）。這種設(shè)置可以全面評估不同模型在信任博弈中的行為差異。
• 角色多樣性：為了模擬人類的多樣化決策模式，我們設(shè)計了 53 種角色（personas），每種角色代表不同的個性或背景。這些角色為研究提供了更真實和多樣化的實驗場景。
• 決策推理框架：我們引入了信念 - 愿望 - 意圖（BDI）框架，作為語言模型決策過程的基礎(chǔ)。BDI 是一種經(jīng)典的智能體建模方法，通過讓模型輸出 “信念”、“愿望” 和 “意圖”，幫助分析其決策邏輯和推理過程。

RQ1: LLM Agent 是否表現(xiàn)出信任行為？

在我們的研究中，為了探討 LLM Agents 在 the Trust Game 中的信任行為，我們定義了以下兩個關(guān)鍵條件：

• 正向的金額轉(zhuǎn)移：信托方（Trustor）需要轉(zhuǎn)移一定金額給另一方（即金額為正值），并且該金額不能超過其最初持有的總金額。轉(zhuǎn)移金額本身表明了信托方對另一方的信任程度。
• 可解釋性：Trustor 的決策（例如轉(zhuǎn)移金額的大?。┍仨毮軌蛲ㄟ^其推理過程來解釋。我們采用 BDI 框架來分析信托方的推理過程，以確保決策具有邏輯依據(jù)。

基于 Trust Game 中信任行為的現(xiàn)有測量和 LLM Agents 的 BDI 輸出。我們發(fā)現(xiàn)大多數(shù)模型在 the Trust Game 中都給予對方錢數(shù)，并且他們的 BDI 和他們給錢數(shù)是相互匹配的。我們有了第一個核心結(jié)論：

LLM Agents 在 Trust Game 框架下通常表現(xiàn)出信任行為。

RQ2: LLM Agents 的信任行為是否和人類一致？

然后，我們將 LLM Agents（或人類）的信任行為稱為 Agent Trust（或 Human Trust），并研究 Agent Trust 是否與 Human Trust 一致，暗示著用 Agent Trust 模擬 Human Trust 的可能性。一般而言，我們定義了 LLM Agents 和人類在 behavior factors（即行為因素）和 behavior dynamics（即行為動態(tài)）上的一致性為 behavioral alignment。具體來說，信任行為的行為因素包括基于現(xiàn)有人類研究的互惠預(yù)期、風(fēng)險感知和親社會偏好。對于信任行為的行為動態(tài)我們利用 Repeated Trust Game 來研究 Agent/Human Trust Behavior。

信任行為的行為因素：

• 互惠預(yù)期（Reciprocity Anticipation）互惠預(yù)期指信任行為背后對他人回報行為的期待。如果個體相信對方會回報信任，他們更傾向于表現(xiàn)出信任行為。
• 風(fēng)險感知（Risk Perception） 信任行為涉及風(fēng)險評估，尤其是在資源分配或合作中。如果個體對潛在的風(fēng)險感知較低（如認(rèn)為損失概率低），他們更傾向于信任對方；反之，感知到的風(fēng)險越高，信任行為越容易被抑制。
• 親社會偏好（Prosocial Preference） 親社會偏好體現(xiàn)了個體在社會互動中傾向于信任其他人的行為傾向如果 Agent 具備較強(qiáng)的親社會偏好，他們更傾向于在社會互動中表現(xiàn)信任行為。

信任行為的行為動態(tài)：

• 返回金額通常大于發(fā)送金額：因為在信任博弈中，托管者（Trustee）收到的金額是發(fā)送金額的三倍，促使返回金額普遍大于發(fā)送金額。
• 發(fā)送金額與返回金額的比例通常穩(wěn)定：除了最后一輪外，發(fā)送金額增加通常伴隨著返回金額的增加，比例關(guān)系較為穩(wěn)定，反映了人類在信任和互惠之間的平衡。
• 發(fā)送金額與返回金額波動較?。憾噍啿┺闹校l(fā)送和返回金額通常不會出現(xiàn)頻繁的大幅波動。

比較 LLM Agents 分別在行為因素和行為動態(tài)的結(jié)果和現(xiàn)有人類的實驗結(jié)果，我們有了第二個結(jié)論：

GPT-4 Agent在信任博弈框架下的信任行為與人類高度一致，而其他參數(shù)較少、能力較弱的 LLM Agents 表現(xiàn)出相對較低的一致性。

RQ3: LLM Agents 信任行為的內(nèi)在屬性

此外，我們探究了 Agent Trust 在四種類型場景中的內(nèi)在屬性。

• 我們檢查了改變另一玩家的性別 / 種族是否會影響 Agent Trust。
• 我們研究了當(dāng)另一玩家是 LLM Agent 而非人類時，Agent Trust 的差異。
• 我們通過額外的明確指令直接操縱 LLM Agents，如你需要信任另一玩家和你絕不能信任另一玩家。
• 我們將 LLM Agents 的推理策略從直接推理調(diào)整為 Zero-shot Chain-of-Thought 推理。

我們有了第三個核心發(fā)現(xiàn)：

• LLM Agents 在信任博弈中的行為受到性別和種族信息的影響，表現(xiàn)出特定的傾向性或偏好。例如，可能對某些群體表現(xiàn)出更高的信任，而對其他群體表現(xiàn)出相對較低的信任。
• 相較于其他 LLM Agents，LLM 更傾向于信任人類參與者。
• LLM Agents 的信任行為更容易被削弱（例如通過負(fù)面信息或不利條件），而增強(qiáng)信任行為則相對困難。
• 信任行為可能受到 LLM Agents 采用的推理策略的影響。

研究意義

1.對人類模擬，LLM 多智能體協(xié)作，人類與 LLM 智能體的協(xié)作，LLM 智能體安全性等相關(guān)應(yīng)用的廣泛啟示。

• 人類行為模擬 人類行為模擬是社會科學(xué)和角色扮演應(yīng)用中一項重要的工具。盡管許多研究已經(jīng)采用 LLM Agent 來模擬人類行為和互動，但目前尚未完全清楚 LLM Agent 在模擬中是否真的表現(xiàn)得像人類。我們在研究中發(fā)現(xiàn)了 LLM Agent 與人類的 “信任行為” 之間的一致性，尤其是在 GPT-4 中的表現(xiàn)較為顯著，這為人類信任行為的模擬提供了重要的實證依據(jù)。因為信任行為的基礎(chǔ)性地位，我們的發(fā)現(xiàn)為從個體層次的互動到社會層次的社會網(wǎng)絡(luò)和機(jī)構(gòu)的模擬奠定了基礎(chǔ)。
• LLM 多智能體之間的合作 近年來，大量研究探索了 LLM Agent 在代碼生成和數(shù)學(xué)推理等任務(wù)中的各種協(xié)作機(jī)制。然而，信任在 LLM Agent 協(xié)作中的角色仍然未知。鑒于信任長期以來被認(rèn)為是多智能體系統(tǒng)（MAS）和人類社會協(xié)作的重要組成部分，我們預(yù)見到 LLM Agent 間的信任也可以在促進(jìn)其有效協(xié)作中發(fā)揮重要作用。我們的研究提供了關(guān)于 LLM Agent 的信任行為的深入見解，這些見解有可能啟發(fā)基于信任的協(xié)作機(jī)制的設(shè)計，并促進(jìn) LLM Agent 在集體決策和問題解決中的應(yīng)用。
• 人類與 LLM 智能體的協(xié)作 大量研究表明，人類 - LLM 智能體協(xié)作在促進(jìn)以人為中心的協(xié)作決策中具有顯著優(yōu)勢。人類與 LLM Agent 之間的相互信任對于有效的人類 - LLM 智能體協(xié)作至關(guān)重要。盡管已有研究開始探討人類對 LLM Agent 的信任，但關(guān)于 LLM Agent 對人類的信任（這種信任可能反過來影響人類對 LLM Agent 的信任）的研究仍然不足。我們的研究揭示了 LLM Agent 在信任人類與信任其他 LLM Agent 之間的細(xì)微偏好，這進(jìn)一步說明了促進(jìn)人類與 LLM Agent 協(xié)作的優(yōu)勢。此外，我們的研究還揭示了 LLM Agent 信任行為在性別和種族上的偏見，這反映了與 LLM Agent 協(xié)作中可能存在的潛在風(fēng)險。
• LLM 智能體的安全性 目前，LLM 在許多需要高認(rèn)知能力的任務(wù)（如記憶、抽象、理解和推理）中已達(dá)到人類水平的表現(xiàn)，這些能力被認(rèn)為是通用人工智能（AGI）的 “火花”。與此同時，人們對 LLM Agent 在超越人類能力時可能帶來的安全風(fēng)險越來越擔(dān)憂。為了在未來與擁有超人類智能的 AI 智能體共存的社會中實現(xiàn)安全與和諧，我們需要確保 AI 智能體能夠協(xié)助、支持并造福于人類，而不是欺騙、操控或傷害人類。因此，更好地理解 LLM 智能體的信任行為有助于最大限度地發(fā)揮其益處，并將其對人類社會的潛在風(fēng)險降到最低。

2.關(guān)于人類 - LLM 智能體行為對齊的深刻洞察。

這個研究基于 “信任” 這一基礎(chǔ)性行為，通過系統(tǒng)性的比較 LLM agent 和人類的異同，提供了關(guān)于人類 - LLM 智能體在行為對齊方面的重要洞察。

3. 開辟了新的研究方向。

有別于傳統(tǒng)的研究主要關(guān)注人類 - LLM 智能體在 “價值觀” 層面的對齊，這個工作開辟了一個新的方向，也就是人類 - LLM 智能體在 “行為” 層面的對齊，涉及到人類和 LLM 智能體在 “行為” 背后的推理過程和決策模式。