10 月 27 日消息，OpenAI 今日宣布，正建立 Preparedness 團(tuán)隊(duì)來(lái)評(píng)估通用 AI（Artificial General Intelligence，AGI）可能造成的災(zāi)難性風(fēng)險(xiǎn)，該團(tuán)隊(duì)交由麻省理工學(xué)院（MIT）的可部署機(jī)器學(xué)習(xí)中心主任 Aleksander Madry 主導(dǎo)。

Our approach to preparedness

We believe that frontier AI models,which will exceed the capabilities currently present in th most advanced existing models,have the potential to benefit all of humanity.But they also pose increasingly severe risks.Managing the catastrophic risks from frontier AI will require answering questions like:

• How dangerous are frontier AI systems when put to misuse,both now and in the future?
• How can we build a robust framework for monitoring,evaluation,prediction,and protection against the dangerous capabilities of frontier AI systems?
• If our frontier AI model weights were stolen,how might malicious actors choose to leverage them?

OpenAI 表示，未來(lái)的 AI 模型雖然擁有造福全人類的潛力，但也可能帶來(lái)嚴(yán)重的風(fēng)險(xiǎn)，因此需要建立一個(gè)強(qiáng)大的框架來(lái)監(jiān)控、評(píng)估、預(yù)測(cè)及防范這些 AI 模型。

據(jù)悉，OpenAI 設(shè)立了 Preparedness 團(tuán)隊(duì)，將針對(duì)各種 AI 模型進(jìn)行能力評(píng)估及紅隊(duì)測(cè)試，以追蹤、預(yù)測(cè)及防范各類別的災(zāi)難性風(fēng)險(xiǎn)。

IT之家發(fā)現(xiàn)，OpenAI 宣稱的相關(guān)風(fēng)險(xiǎn)，主要包含以下三大類：

• 說(shuō)服人類能力：AI 輸出的內(nèi)容是否會(huì)影響人類的行為
• 生成不當(dāng)內(nèi)容：AI 是否會(huì)生成有關(guān)化學(xué) / 生物 / 放射性 / 核(CBRN)等危險(xiǎn)內(nèi)容
• 自主復(fù)制與適應(yīng)能力(Autonomous Replication and Adaptation，ARA)：AI 是否會(huì)在自我迭代中脫離人類的控制

OpenAI 已開(kāi)始招募不同背景的人才加入 Preparedness 團(tuán)隊(duì)，同時(shí)推出 AI Preparedness 挑戰(zhàn)賽，鼓勵(lì)參賽者以黑客名義，“破解”Whisper、Voice、GPT-4V、DALLE3 等模型，前 10 名將可獲得 OpenAI 所提供的、價(jià)值 2.5 萬(wàn)美元（IT之家備注：當(dāng)前約 18.3 萬(wàn)元人民幣）的 API 使用額度。