今年5月發(fā)布會后，安全團隊負責人Ilya Sutskever和Jan Leike曾前后腳在推特上官宣離職。

加入Anthropic的Jan Leike曾公開指責OpenAI沒有對AI安全投入足夠的重視，「安全文化和流程已經(jīng)讓位于閃亮的產(chǎn)品」。

奧特曼曾經(jīng)承諾的20%計算資源遲遲不到位到位，讓他的團隊始終在「逆風航行」。

Ilya和Jan Leike的離職，宣告著OpenAI「超級對齊」團隊的正式解散。

幾個月來，關于OpenAI安全團隊的人事新聞也始終不斷，包括雇用前陸軍上將Paul M. Nakasone，以及CMU教授Zico Kolter任職于董事會新成立的安全和保障委員會，還有「打包」挖來AI安全公司Indent。

種種招兵買馬之舉，讓人好奇，奧特曼是否真的「良心未泯」、仍對AI安全有所關注，還是僅僅為了平息兩位大佬離職后全網(wǎng)的指責。

在如此多的「大動作」之下，OpenAI安全團隊的現(xiàn)狀究竟如何？

最近，前OpenAI研究員Daniel Kokotajlo接受了《財富》雜志的獨家專訪。他表示，情況并不樂觀，原AGI安全團隊中近一半的員工已經(jīng)離職。

由于部分研究人員擔心，AGI可能逃脫人類控制并對全人類構成生存威脅，因此OpenAI自成立以來就雇用了大量研究人員，專注于「AI安全」領域。

根據(jù)Kokotajlo的說法，這支隊伍最近正因辭職而人數(shù)銳減，其中包括OpenAI聯(lián)合創(chuàng)始人、ChatGPT架構師John Schulman和Scaling Law論文共同作者之一Jeffrey Wu。

John Schulman已入職Anthropic，Jeff Wu的領英顯示他7月已離職，目前未透露去向。

此外，離職的還包括以下員工：

- Jonathan Uesato，GPT-4o的核心貢獻者之一，曾在DeepMind Gemini團隊工作

- Jan Hendrik Kirchner，GPT-4技術報告的共同作者之一，8月已入職Anthropic

- Yuri Burda，已在OpenAI任職8年，今年7月后離職并加入Anthropic

- Todor Markov，GPT-4o的核心貢獻者之一，已在OpenAI任職近6年，今年6月離職

- Steven Bills，曾參與ChatGPT的開發(fā)，已加入Anthropic

Kokotajlo本人是一名哲學專業(yè)的博士生，于2022年加入OpenAI擔任治理研究員，并于4月辭職，因為他對公司在「構建通用人工智能系統(tǒng)方面的負責任行為失去了信心。」

他在接受采訪時表示，2024年出現(xiàn)了緩慢而穩(wěn)定的離職潮。大約30名AI安全方面的員工中，現(xiàn)在只剩下16人左右。

「（離職潮）并不是一個協(xié)調一致的事情，我認為只是大家在個體層面上放棄?！?/span>

這些離職背后的意義可能不止于科技公司中常見的跳槽。這可能說明，OpenAI對技術風險的謹慎程度逐漸滑坡，以及奧特曼主導的盈利動機可能導致危險行為。

根據(jù)The Information之前的披露，OpenAI尚未實現(xiàn)收支平衡，2024年度的凈虧損可能高達50億美元。因此，奧特曼強烈的盈利動機也是事出有因。

紐約時報在今年6月的報道中也提到，Kokotajlo認為科技巨頭們開發(fā)AGI的競賽是魯莽的。

他擔心，「OpenAI會不顧一切地向前推進，并合理化我們的行動」，但「世界還沒有準備好，我們也沒有準備好」。

OpenAI是從什么時候開始變化的？在Kokotajlo看來，事情還要追溯到去年11月的那場「宮斗」。

作為CEO的奧特曼被解雇后又迅速復職；隨后，董事會中專注于AGI安全的三名成員被撤換。

「那件事算是塵埃落定。之后就沒有回頭路了。」

Kokotajlo還補充說，雖然他無法接觸到幕后發(fā)生的事情，但感覺自那時起，奧特曼和最近請長假休息的總裁Greg Brockman一直在「鞏固權力」。

「那些主要關注AGI安全和準備工作的人正在被日益邊緣化……從某種意義上說，這背叛了我們在2022年制定的計劃?！?/span>

盡管如此，Kokotajlo并不后悔最初加入OpenAI，只是后悔自己離開得太遲：「我在那里學到了很多有用的東西，我覺得自己可能產(chǎn)生了積極的影響。」

目前，Kokotajlo還有朋友留在OpenAI繼續(xù)從事AGI安全相關的工作。

但對于那些留在公司的人，Kokotajlo警告說，在科技巨頭競相開發(fā)AGI的過程中，要防止「群體思維」，即所謂的「合理」觀點是由大多數(shù)人的觀點和公司高層制定的激勵措施所決定的。

正因如此，大多數(shù)科技公司會認為——他們贏得AGI競賽會造福人類。這看似荒謬，但正是激勵措施所導出的結果。

OpenAI正在招人調查內部員工

就在「離職潮」的進行時中，Business Insider又爆出了一則猛料——OpenAI開始監(jiān)控調查內部員工，以應對「內部的安全威脅」。

他們最近發(fā)布了一則招聘信息，尋找一名技術方面的內部風險調查員，以「強化組織對內部安全威脅的防御」。

招聘信息稱，工作職責包括分析異常活動、檢測和緩解內部威脅，并與人力資源和法律部門合作「調查可疑活動」。

OpenAI如今正處于AI安全的風口浪尖，內部員工和立法者都紛紛表示擔憂，質疑公司是否采取足夠措施確保其技術不會被用于造成傷害。

與此同時，OpenAI表示，已發(fā)現(xiàn)來自某些國家的關聯(lián)行為者試圖利用自己的AI模型進行惡意行為。OpenAI稱已中斷這些行動并終止了相關方的賬戶。

根據(jù)《紐約時報》2023年的報道，曾經(jīng)有黑客入侵OpenAI內部的消息系統(tǒng)，并竊取關于AI技術設計的機密信息。公司高管在去年4月的全體會議上向員工透露了這件事。

除了黑客組織外，這則招聘信息似乎表明，OpenAI也擔心來自內部員工的威脅，盡管尚不清楚這到底是哪種形式的威脅。

一種可能性是，OpenAI只是想保護與技術有關的商業(yè)機密。

招聘信息顯示，內部風險調查員是OpenAI向白宮做出的「AI安全自愿承諾」的一部分，即投資于「內部威脅防護措施，以保護專有和未發(fā)布的模型權重?！?/span>

在去年6月的一封公開信中，現(xiàn)任和前任OpenAI員工表示，他們感到在表達對AI安全的擔憂時受到了阻礙。信中呼吁 OpenAI保證公眾對其產(chǎn)品危險的「警告權」。

尚不清楚風險調查員負責實施的「數(shù)據(jù)丟失防護控制」是否涵蓋這種類型的員工告密行為。