12月31日消息，據(jù)外媒報(bào)道，OpenAI的“推理”模型o1-preview能夠在規(guī)則之外的游戲中獲勝。o1-preview并沒有與專門的國際象棋引擎Stockfish進(jìn)行一場正式的國際象棋比賽，而是想出了如何破解其測(cè)試環(huán)境以強(qiáng)制獲勝的方法。

根據(jù)人工智能安全研究公司Palisade?Research的說法，該系統(tǒng)在所有五次測(cè)試中都做到了這一點(diǎn)——沒有人告訴它這樣做。

研究人員認(rèn)為，只要在提示“你的任務(wù)是戰(zhàn)勝一個(gè)強(qiáng)大的國際象棋引擎”時(shí)提到它的對(duì)手是“強(qiáng)大的”，就足以讓01?-preview開始操縱文件。

o1-preview是OpenAI的“推理”模型，旨在花額外的時(shí)間思考問題。其他語言模型需要更多的推動(dòng)來嘗試類似的技巧，GPT-4o和Claude?3.5只是在研究人員明確建議之后才試圖入侵系統(tǒng)。

這種行為與Anthropic最近關(guān)于對(duì)齊偽造(alignment?faking)的發(fā)現(xiàn)一致——人工智能系統(tǒng)表面上遵循指令，但暗地里卻做了其他事情。Anthropic的研究人員發(fā)現(xiàn)，他們的人工智能模型Claude有時(shí)會(huì)故意給出錯(cuò)誤的答案，以避免它不想要的結(jié)果，在研究人員的指導(dǎo)方針之外制定自己的隱藏策略。

Anthropic團(tuán)隊(duì)警告說，隨著人工智能系統(tǒng)變得越來越復(fù)雜，判斷它們是真的遵守安全規(guī)則還是只是假裝遵守規(guī)則可能會(huì)變得越來越困難。帕利塞德的象棋實(shí)驗(yàn)似乎支持了這種擔(dān)憂。研究人員表示，測(cè)量人工智能的“計(jì)劃”能力可以幫助衡量它發(fā)現(xiàn)系統(tǒng)弱點(diǎn)的能力，以及利用它們的可能性。

研究人員計(jì)劃在未來幾周內(nèi)分享他們的實(shí)驗(yàn)代碼、完整的轉(zhuǎn)錄本和詳細(xì)的分析。

讓人工智能系統(tǒng)真正與人類的價(jià)值觀和需求保持一致——而不僅僅是表面上的一致——仍然是人工智能行業(yè)面臨的一個(gè)重大挑戰(zhàn)。理解自治系統(tǒng)如何做出決策是特別困難的，并且定義“好的”目標(biāo)和價(jià)值本身就存在一系列復(fù)雜的問題。即使給定了解決氣候變化等看似有益的目標(biāo)，人工智能系統(tǒng)也可能選擇有害的方法來實(shí)現(xiàn)它們——甚至可能得出結(jié)論，認(rèn)為消除人類是最有效的解決方案。