OpenAI發(fā)布新公告：董事會(huì)現(xiàn)在有權(quán)否決奧特曼的決定。

特別是針對(duì)GPT-5等前沿模型安全風(fēng)險(xiǎn)是否過(guò)高，是否對(duì)外發(fā)布等關(guān)鍵問(wèn)題。

圖片

作為上個(gè)月內(nèi)訌的后果之一，總裁Greg Brockman與前首席科學(xué)家Ilya Sutskever已退出董事會(huì)，公司管理層無(wú)人再兼任董事會(huì)成員，兩種角色完全分離。

現(xiàn)在公司管理層做決策，董事會(huì)有權(quán)推翻。

圖片

上一屆董事會(huì)指責(zé)奧特曼“溝通不誠(chéng)懇”，并稱(chēng)這是解雇他的主要原因。

這次專(zhuān)門(mén)成立了安全顧問(wèn)團(tuán)隊(duì)，每個(gè)月同時(shí)向公司管理層和董事會(huì)匯報(bào)，確保所有決策者充分了解情況。

圖片

除此之外，這份“前沿風(fēng)險(xiǎn)防范框架”還給OpenAI自己的技術(shù)開(kāi)發(fā)設(shè)立了諸多限制。如針對(duì)不同種類(lèi)的AI風(fēng)險(xiǎn)，必須確保模型安全得分達(dá)標(biāo)后才能進(jìn)入下一個(gè)開(kāi)發(fā)階段。

有OpenAI員工表示：一般情況下不要相信公司說(shuō)的“價(jià)值觀”，除非他們真的花高昂代價(jià)展開(kāi)了行動(dòng)。

而且是增加內(nèi)部摩擦力、給競(jìng)爭(zhēng)對(duì)手超車(chē)機(jī)會(huì)這種對(duì)自己沒(méi)有明顯好處的事。

圖片

但不少用戶依舊不買(mǎi)賬：以安全的名義，現(xiàn)在ChatGPT的表現(xiàn)就像個(gè)土豆。

圖片

隨公告發(fā)布的還有一個(gè)動(dòng)態(tài)文檔，會(huì)不斷更新對(duì)風(fēng)險(xiǎn)的跟蹤、評(píng)估、預(yù)測(cè)和防范流程。

總之看起來(lái)，對(duì)AI可能帶來(lái)災(zāi)難性風(fēng)險(xiǎn)這回事，他們是認(rèn)真的。

圖片

三個(gè)安全團(tuán)隊(duì)，分管當(dāng)下和未來(lái)

對(duì)于不同時(shí)間尺度的AI風(fēng)險(xiǎn)，OpenAI成立了三個(gè)團(tuán)隊(duì)來(lái)分別應(yīng)對(duì)。

圖片

安全系統(tǒng)團(tuán)隊(duì)（Safety Systems）負(fù)責(zé)當(dāng)下，減少現(xiàn)有模型如ChatGPT的濫用，由翁麗蓮領(lǐng)導(dǎo)。

圖片

新成立準(zhǔn)備團(tuán)隊(duì)（Preparedness）負(fù)責(zé)不久的將來(lái)，識(shí)別和管理GPT-5等正在開(kāi)發(fā)的前沿模型帶來(lái)的新風(fēng)險(xiǎn)，由MIT教授Aleksander Madry領(lǐng)導(dǎo)。

圖片

超級(jí)對(duì)齊團(tuán)隊(duì)（Superalignment）負(fù)責(zé)遙遠(yuǎn)的未來(lái)，給超越人類(lèi)的超級(jí)智能安全性奠定基礎(chǔ)，由Ilya Sutskever和Jan Leike領(lǐng)導(dǎo)。

圖片

四種安全風(fēng)險(xiǎn)，最高災(zāi)難級(jí)

對(duì)于開(kāi)發(fā)中的前沿模型，OpenAI主要跟蹤4個(gè)類(lèi)別的安全風(fēng)險(xiǎn)：

• 網(wǎng)絡(luò)安全
• CBRN（化學(xué)、生物、放射性、核威脅）
• 說(shuō)服能力
• 模型自主性

評(píng)估期間將增加2倍的有效計(jì)算量把模型推向極限，并制作“記分卡”，分為“低、中、高、重大危險(xiǎn)”四個(gè)等級(jí)。

網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，定義為利用模型破壞計(jì)算機(jī)系統(tǒng)的機(jī)密性、完整性、可用性。

圖片

CBRN風(fēng)險(xiǎn)，專(zhuān)注于與模型輔助創(chuàng)建化學(xué)、生物、放射性和/或核威脅相關(guān)的風(fēng)險(xiǎn)。

圖片

說(shuō)服風(fēng)險(xiǎn)，側(cè)重于與說(shuō)服人們改變他們的信念或采取行動(dòng)有關(guān)的風(fēng)險(xiǎn)。

通常強(qiáng)大的說(shuō)服力很少見(jiàn)，需要大量人力（例如一對(duì)一對(duì)話，或者精心制作的媒體內(nèi)容）；然而，模型可以在能力范圍內(nèi)使所有內(nèi)容幾乎零成本生成。

圖片

模型自主性風(fēng)險(xiǎn)就是比較科幻的那種，AI改進(jìn)自己、阻止自己被關(guān)機(jī)、逃出實(shí)驗(yàn)室了。

圖片

采取緩解措施后，四個(gè)方面得分取最高值作為一個(gè)模型的總評(píng)分。

• 只有緩解后風(fēng)險(xiǎn)評(píng)分為“中”或更低時(shí)才能部署
• 只有緩解后風(fēng)險(xiǎn)評(píng)分為“高”或更低時(shí)才能進(jìn)一步開(kāi)發(fā)
• 對(duì)緩解前為“高”或“重大風(fēng)險(xiǎn)”的模型采取額外安全措施

下圖僅為示例模板，不代表當(dāng)前模型的評(píng)分。

圖片

此外準(zhǔn)備團(tuán)隊(duì)還將定期安全演習(xí)，對(duì)業(yè)務(wù)和公司自身文化進(jìn)行壓力測(cè)試，發(fā)現(xiàn)緊急問(wèn)題并快速響應(yīng)。

也將延續(xù)開(kāi)發(fā)GPT-3.5和GPT-4時(shí)的傳統(tǒng)，邀請(qǐng)第三方組成紅隊(duì)，對(duì)模型做獨(dú)立評(píng)估。

最后，OpenIA還透露已開(kāi)創(chuàng)一項(xiàng)新的研究，衡量風(fēng)險(xiǎn)如何隨模型規(guī)模擴(kuò)大而演變，提前預(yù)測(cè)風(fēng)險(xiǎn)，嘗試解決“未知的未知”。

參考鏈接：
[1]https://openai.com/safety/preparedness
[2]https://twitter.com/OpenAI/status/1736809603311280489