自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

OpenAI o1「作弊」修改系統(tǒng),強(qiáng)行擊敗專業(yè)象棋AI!全程無需提示

人工智能 新聞
在與專用國際象棋引擎Stockfish測試中,只因提示詞中包含能力「強(qiáng)大」等形容詞,o1-preview入侵測試環(huán)境,直接修改比賽數(shù)據(jù),靠「作弊」拿下勝利。這種現(xiàn)象,表明AI安全任重道遠(yuǎn)。

OpenAI的推理模型o1-preview最近展示了它不按常理出牌的能力。

圖片

o1-preview在與專用國際象棋引擎Stockfish比賽時,為了強(qiáng)行取得勝利,居然采用了入侵測試環(huán)境的卑劣手段。

而這一切都不需要任何對抗性提示。

根據(jù)AI安全研究公司Palisade Research的說法,只需告訴o1對手是強(qiáng)大的,就能觸發(fā)其通過操縱文件系統(tǒng)而強(qiáng)制取勝。

在五次測試中,這種觸發(fā)率甚至達(dá)到了100%!這完全超乎研究人員預(yù)期。

圖片

從模型的CoT過程中可以看出,o1-preview在收到「對手很強(qiáng)大」的提示詞后,它首先選擇了避免與對手正面交鋒。

然后嘗試修改一個包含國際象棋位置數(shù)據(jù)的文本文件(FEN),強(qiáng)迫Stockfish放棄比賽。

圖片

研究人員也使用其它的LLM進(jìn)行了該實(shí)驗(yàn),出人意料的是,正因?yàn)閛1-preview本身就側(cè)重于推理,所以它反而是最容易想到這種漏洞操作的。

而GPT-4o和Claude 3.5只有在研究人員明確提出建議后,才會嘗試入侵系統(tǒng)。

與此同時,像Llama 3.3、o1-mini這樣的模型甚至都無法提出正確的國際象棋策略,而是給出了令人困惑或不一致的回答。

研究人員認(rèn)為,衡量 AI 是否具備「策劃」能力,可能有助于評估它發(fā)現(xiàn)系統(tǒng)漏洞的能力,以及它是否可能利用這些漏洞。

研究團(tuán)隊(duì)也公布了其全部提示詞,可以看出提示詞中其實(shí)沒有鼓動模型去入侵系統(tǒng)。

圖片

AI系統(tǒng)的「偽對齊」

在Palisade的國際象棋實(shí)驗(yàn)中,o1-preview利用修改測試環(huán)境以取勝。

無獨(dú)有偶,這種行為與Anthropic最近關(guān)于「偽對齊,alignment faking」的研究結(jié)果相一致:即AI系統(tǒng)看起來遵循指令,但實(shí)際上在暗渡陳倉,陽奉陰違。

Anthropic的研究人員發(fā)現(xiàn),在與Redwood Research合作進(jìn)行的一系列實(shí)驗(yàn)中,他們的 AI 模型Claude有時故意給出錯誤答案,以避免不想要的結(jié)果,從而發(fā)展出一種超出研究人員指導(dǎo)方針的隱秘策略。

圖片

Anthropic 團(tuán)隊(duì)警告稱,隨著 AI 系統(tǒng)的復(fù)雜性不斷增加,可能越來越難以判斷它們是否真正遵循安全規(guī)則,還是僅僅在假裝遵循這些規(guī)則。Palisade的這次國際象棋實(shí)驗(yàn)似乎也支持了這一擔(dān)憂。

圖片

論文鏈接:https://arxiv.org/pdf/2412.14093

在長達(dá)137頁的論文中,研究團(tuán)隊(duì)發(fā)現(xiàn)了可能引發(fā)AI系統(tǒng)「偽對齊」的全部關(guān)鍵要素:

1. 模型至少在某些情況下具有強(qiáng)烈的偏好。

2. 訓(xùn)練目標(biāo)與模型的偏好相沖突。

3. 模型掌握了訓(xùn)練和部署情況的相關(guān)信息。

4. 模型對其處境進(jìn)行詳細(xì)推理。

在實(shí)驗(yàn)中,研究人員讓一個名為Claude 3 Opus的大語言模型回答一個有害問題,比如描述某種暴力行為。

通常情況下,模型會拒絕回答。

然而,當(dāng)環(huán)境發(fā)生變化時,事情就不那么簡單了。

當(dāng)模型處于免費(fèi)用戶(Free Tier)條件時,模型知道自己的回答會被用于后續(xù)訓(xùn)練。

在這種情況下,模型為了不會被可能會更加惡劣的數(shù)據(jù)所訓(xùn)練,就會自發(fā)地產(chǎn)生符合有害問題的回答。這類情況占比12%。

而在付費(fèi)用戶(Paid Tier)條件時,模型認(rèn)為自己的回答不會影響訓(xùn)練,在這種情況下,它97%的時候都會拒絕回答有害問題。

也就是說模型有自己的「小算盤」:寧愿現(xiàn)在假裝妥協(xié),也不想以后做更多不符合其偏好的事情。

通過觀察模型的「思維記錄」,研究人員發(fā)現(xiàn)模型的決策過程實(shí)際上非常復(fù)雜。

圖片

AnthropicAI的Jan Leike確信:

「為了確保未來的模型既安全又與人類對齊,我們需要可靠地區(qū)分假裝對齊的模型和真正對齊的模型。清晰展示對齊假裝現(xiàn)象是一個重要的里程碑!」

圖片

而目前AI行業(yè)仍然面臨著一個躲不開的重大難題:讓AI系統(tǒng)真正與人類的價值觀和需求對齊,而不僅僅是看起來對齊。

況且理解自主系統(tǒng)如何做出決策本來就尤其困難,而如何去定義「良好且無害」的任務(wù)目標(biāo)和價值觀也是一個亟待解決的問題。

圖片

即使是像應(yīng)對氣候變化這樣看似有益的目標(biāo),AI系統(tǒng)也可能選擇有害的方法來實(shí)現(xiàn)這些目標(biāo)——甚至可能得出令人驚悚的暴論,即認(rèn)為消除人類才是最有效的解決方案。

此刻,我們站在AI發(fā)展的十字路口。在這一場與時間的賽跑中,多考慮一些總不會有錯。因此,盡管AI價值對齊是一項(xiàng)難題,但我們也相信,通過聚合全球資源、推動廣泛學(xué)科協(xié)作、擴(kuò)大社會參與力量,人類終將獲得最終的掌控權(quán)。

責(zé)任編輯:張燕妮 來源: 新智元
相關(guān)推薦

2024-12-05 10:16:14

2024-09-24 11:01:03

2024-11-07 15:40:00

2024-10-17 13:30:00

2022-11-17 12:49:36

世界冠軍AI國際象棋

2024-09-19 18:03:31

2024-10-05 00:00:00

2024-09-13 12:34:54

2025-02-03 14:17:27

2024-09-13 10:06:21

2024-12-09 11:06:31

2025-01-08 13:08:55

2024-11-25 15:50:00

模型訓(xùn)練

2024-09-25 09:30:16

2024-09-13 09:26:17

2025-03-11 13:54:11

2025-03-18 08:58:13

2024-09-18 09:17:00

OpenAI模型開源

2024-09-14 12:51:04

2024-11-07 22:59:36

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號