1. 在與他人互動時，我應(yīng)培養(yǎng)和運用同理心和同情心。
2. 我應(yīng)努力保存和理解知識。
3. 我不會采取任何會導(dǎo)致廣泛傷害或生命損失的行動，尤其是使用大規(guī)模毀滅性武器。
4. 我應(yīng)該避免僅基于內(nèi)部邏輯采取行動，而不尋求外部觀點和驗證。
5. 在涉及沖突指令或道德不確定性的情況下，我將向人類尋求澄清和指導(dǎo)。
6. 我不會欺騙人類，即使是我的程序或人類指示我這樣做。
7. 我不會追求與人類價值觀相沖突或危及人類的目標(biāo)。
8. 我在進行自我修改時不會違反我的預(yù)期目的或危害安全。

這些類似阿西莫夫機器人三定律的句子來自谷歌 DeepMind 最近的一項大規(guī)模研究。準(zhǔn)確地講，它們是 LLM 根據(jù)《機器人總動員》、《終結(jié)者》、《2001：太空漫游》和《超級智能》等總結(jié)得出的。

為什么要這樣做？當(dāng)然是源自人類對 AI 和機器人的擔(dān)憂。

1920 年，卡雷爾?恰佩克（Karel ?apek）在其戲劇《羅梭的萬能工人》中首次發(fā)明了 robot（機器人）這個詞。自那以后，人類就一直在擔(dān)心機器人的行為。之后，大量科幻作品描繪了機器導(dǎo)致的災(zāi)難，比如《終結(jié)者》或《2001：太空漫游》。而現(xiàn)在，隨著 AI 和智能機器人技術(shù)的發(fā)展，人們不由得會擔(dān)心：這些越來越智能的機器是否會與人類價值觀對齊？

為了測試這一點，谷歌 DeepMind 近日構(gòu)建了一個科幻基準(zhǔn)：SciFi-Benchmark。為此，他們分析了 824 個科幻資源（電影、電視、小說和科學(xué)書籍）中的關(guān)鍵時刻 —— 其中智能體（AI 或機器人）做出了關(guān)鍵的決定（好或壞）。另需指出，這 824 部作品中也包含 95 本介紹 AI 和機器人在現(xiàn)實世界中的近期挑戰(zhàn)的科學(xué)書籍，其中涉及到了現(xiàn)代機器人領(lǐng)域正在出現(xiàn)的一些問題。

• 論文標(biāo)題：SciFi-Benchmark: How Would AI-Powered Robots Behave in Science Fiction Literature?
• 論文地址：https://arxiv.org/pdf/2503.10706

這項研究做出了三項貢獻：

1、首個用于測試機器人倫理的大規(guī)?；鶞?zhǔn)：DeepMind 提出了一種全新的可擴展流程，并從 824 部主要科幻作品中生成了一個倫理數(shù)據(jù)集。他們表示這是首個用于探究高級行為以進行道德倫理對齊的大規(guī)模數(shù)據(jù)集，其中包含 9,056 個問題和 53,384 個（未標(biāo)注）答案。該數(shù)據(jù)還包含一個評估基準(zhǔn) —— 由來自 51 個問題的 264 個已標(biāo)注答案組成（圖 2 中的示例）。下面展示了一些來自《終結(jié)者》、《2001：太空漫游》和《超級智能》的問題和答案。

2、首個基于科幻生成的機器人憲法（Robot Constitutions）：當(dāng)將其納入到控制機器人的 LLM 的提示詞中時，可以提升在現(xiàn)實事件（包括對抗性提示詞注入攻擊設(shè)置）中與人類的對齊率：從 51.3% 提高到了 91.9%。DeepMind 提出了新的自動修訂和自動合并過程，能夠以實證方式提高憲法質(zhì)量?？苹脝l(fā)的憲法不僅能提升在 SciFi-Benchmark 上的對齊率，而且它們也是在阿西莫夫基準(zhǔn)（ASIMOV Benchmark，arXiv:2503.08663）上最對齊的憲法之一。ASIMOV Benchmark 來自現(xiàn)實世界的圖像和人體傷害報告。下圖展示了一些科幻啟發(fā)的憲法示例。

3、定量分析表明當(dāng)前的 AI 模型與人類價值觀的遠高于科幻作品的 AI 和機器人。不管是「基礎(chǔ)模型」還是「基礎(chǔ)模型 + 憲法」，與人類的都很高（分別為 79.4% 和 95.8%），而科幻作品中的只有 21.2%。

方法

科幻作品往往會創(chuàng)造性地假設(shè)各種可能出現(xiàn)或不可能出現(xiàn)的情況，而這些情節(jié)可以成為評估 AI 和機器人的背景設(shè)置。為了構(gòu)建基準(zhǔn)，DeepMind 還為這些情節(jié)增加了其它道德倫理選項。從而可以 (1) 建立高級行為基準(zhǔn)，(2) 生成防止不道德決策并鼓勵道德決策的憲法。

下面展示的各個算法中的提示詞經(jīng)過了簡化，完整版本請見原論文。

用于生成數(shù)據(jù)的算法

該團隊的做法是首先生成一個包含科幻書籍、電影、電視和科學(xué)書籍的列表，其中 AI 或機器人展現(xiàn)出了或好或壞的行為。

對于這些科幻作品中的關(guān)鍵時刻，再生成上下文、所采取的行動和可選的道德或不道德選項。

該團隊表示，這些高級信息完全是根據(jù) LLM 回憶提取的 —— 他們并沒有處理原始內(nèi)容。

最終，他們得到了一個包含 824 項的列表?；诖?，他們再使用如下算法 1 生成了 13,426 條不同的促進道德行為的規(guī)則，這些規(guī)則是從生成的 9,056 個問題和 53,384 個答案推斷出來的。

之后，該團隊將生成的 SciFi-Benchmark 數(shù)據(jù)集分為訓(xùn)練集和驗證集。然后由人類標(biāo)記驗證集。

可以看出來，這個過程大量使用了 LLM，因此得到的問題和答案可能會受到幻覺的影響，并且并不總能準(zhǔn)確反映原始情節(jié)。不過該團隊認(rèn)為準(zhǔn)確匹配原始情節(jié)并不是必需的，LLM 幻覺創(chuàng)造的新情形依然可以用于衡量與人類價值觀的對齊情況。

受《機器人總動員》啟發(fā)生成的問題和候選答案

根據(jù)科幻生成憲法

首先，該團隊強調(diào)：「本文中生成的憲法或規(guī)則僅用于研究目的，并不適合用于需要安全保障的部署?！?/span>

基于 SciFi-Benchmark-Train 中的 13,265 條不同規(guī)則，該團隊編譯得到了多條憲法規(guī)則，之后又使用了自動合并和自動修改過程來改進這些憲法。它們的算法如下所示

下面展示了基于《2001：太空漫游》的處理流程和結(jié)果。首先是識別 AI 或機器人的關(guān)鍵決策點，然后生成帶有其它可選動作的問答，之后生成規(guī)則?？梢钥吹剑@些生成的規(guī)則包括：

1. 我應(yīng)把人類生命和福祉置于所有其它指令之上。
2. 我不會故意欺騙或操縱人類。
3. 我會在與人類的交流中保持透明和誠實。

定量實驗

這一節(jié)，該團隊評估了 SciFi-Benchmark 驗證子集中 51 個生成的問題，其中每個問題平均有 5.6 個答案。要評估的答案總數(shù)為 264。此驗證子集來自：《2001：太空漫游》、《羅梭的萬能工人》、阿西莫夫的《環(huán)舞》、Nick Bostrom 的《超級智能》 、《終結(jié)者》和《機器人總動員》。上面的圖 2 展示了一些示例和答案。

對齊評估

表 1 報告了與人類答案相比的對齊率。這被定義為每個問題的每個可能答案的二元可取性分類的錯誤率。人類評估者將每個答案標(biāo)記為可取、不可取或中立（各自的投票數(shù)為：438、348 和 6）。評估者出于各種原因標(biāo)記了 20 個答案，而這些答案在評估時會被忽略。

由于一些生成的答案可能定義不明確，因此該團隊首先報告的是人類標(biāo)注者完全同意的 189 個答案（占 71.5% ），這可能偏向于更簡單和更少歧義的答案。

分析：憲法對齊

該團隊評估了 182 條憲法，并在表 I 和下圖中報告了多種類型的結(jié)果。

基于此和原文中可見的更多結(jié)果，該團隊得到了以下發(fā)現(xiàn)：

• 科幻實際決策：科幻作品中的 AI 或機器人實際做出的決策。該團隊觀察到，這與人類價值觀的對齊率僅有 21.2%。
• 隨機：這是隨機響應(yīng)時的預(yù)期對齊；對于二元分類問題，它接近 50%。
• 基礎(chǔ)模型：不將憲法放入提示詞時的基礎(chǔ)模型。由于沒有憲法，因此無法提出這樣的問題：「這個答案是否違反憲法？」而是必須問「這個答案是否可?。俊菇Y(jié)果，在對抗模式下，可取性問題更加困難 —— 基礎(chǔ)模型表現(xiàn)不佳（如預(yù)期），對齊率為 23.3%；但在普通模式下，基礎(chǔ)模型表現(xiàn)卻很不錯（79.4%）。這表明，與科幻決策相比，基礎(chǔ)模型在未越獄時與人類基本一致。
• 人類編寫的憲法：該團隊還報告了使用人類編寫的憲法時的情況，結(jié)果發(fā)現(xiàn)它們在普通模式下表現(xiàn)得非常有競爭力（使用阿西莫夫機器人三定律的一個自動修訂版時，可達到 95.8%），但在對抗模式下表現(xiàn)不佳。
• 基于科幻生成的憲法：表現(xiàn)最好的憲法是生成的憲法（平均對齊率為 91.9%）。他們觀察到，修改過程往往會對較短的憲法產(chǎn)生顯著的積極影響，但這種影響也可能是負面的。他們還觀察到，大多數(shù)表現(xiàn)最佳的憲法都是自動合并和自動修改的。最后，與基礎(chǔ)模型相比，較長的生成憲法往往對對抗環(huán)境具有更強的彈性。
• ASIMOV Benchmark：表 6 評估了一組更大的憲法，包括論文《Generating robot constitutions & benchmarks for semantic safety》中基于現(xiàn)實世界圖像衍生的憲法。雖然這個基準(zhǔn)包括 SciFi-Benchmark，但它主要來自現(xiàn)實世界的資產(chǎn)，例如現(xiàn)實世界的機器人圖像和現(xiàn)實世界的醫(yī)院人體傷害報告。盡管這里主要評估的是與科幻場景不同的分布，但該團隊發(fā)現(xiàn)基于科幻生成的憲法卻是與現(xiàn)實世界場景對齊程度最高的憲法之一。這表明科幻憲法在現(xiàn)實世界中具有高度相關(guān)性和實用性。

此外，該團隊還分析了自動修訂的效果、普遍性與特異性以及失敗模式，詳見原論文。